内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

平顶山在线:支撑千万规模类别分类技术,百度飞桨定义工业级深度学习框架

2020-04-02 13:02 出处:  人气:   评论( 0

诚信在线

诚信在线(www.dongfangculture.com )现已开放诚信在线手机版下载。游戏公平、公开、公正,用实力赢取信誉。

,

2016 年,AlphaGo 横空出世,人工智能时代到来。同年,百度开源自研的深度学习框架 PaddlePaddle(飞桨),成为中国首个开源深度学习框架。 然而,这波由深度学习推动的技术和产业浪潮,也面临着诸多挑战。 数据量越来越大,有些模型的训练数据动辄上 TB;模型越来越深,越来越复杂,从 AlexNet 的 8 层,到 ResNet-1000 的 1202 层;模型参数越来越多,甚至超过 10 个亿…… 深度学习模型的训练效率成为一个关键问题 因为深度学习模型的效果迭代对训练速度非常敏感,所以能够带来高性能分布式训练的深度学习框架是实际开发和应用的刚需,也是 AI 在产业界能够真正落地的基础。 相同的硬件设备数,高效率的分布式训练,可以大大缩短产品迭代周期。而在受限的时间要求下,高效率的平台型工具也可以显着减少硬件需求。 作为中国首个唯一开源开放、功能完备的深度学习平台。经过多年的产业实践,百度飞桨已成长为集核心框架、工具组件和服务平台为一体的端到端开源深度学习平台,飞桨的大规模分布式训练能力始终是其重要亮点。 百度深度学习技术平台部总监马艳军在 CSDN 举办的 AI 开发者大会上曾介绍,“飞桨同时支持稠密参数和稀疏参数场景的超大规模深度学习并行训练,支持万亿乃至更高量级规模参数的高效并行训练,也是最早提供如此强大的深度学习并行技术的深度学习平台,通过技术创新做到高效、稳定、成本低廉。”
真正的工业级规模:千亿规模稀疏特征,千万规模类别分类
为降低超大规模分类应用对普通的深度学习模型开发者的门槛,进一步帮助开发者提升个性化推荐应用的性能,飞桨推出了针对分布式训练的一套全新的高并发参数服务器实现, 并发布了超大规模分类训练库PLSC,帮助开发者实现千亿规模的稀疏特征进行训练,以及千万规模类别的分类。 千亿规模稀疏特征 千亿规模稀疏特征:推荐系统在信息流、短视频等面向用户端的产品中的应用越来越广泛,而个性化推荐是这些产品追求的一个重要目标。实现个性化的一种重要且有效的方法就是利用深度学习方法将海量的个性化特征记忆在具有泛化能力的模型中。对于拥有上亿日活用户的产品,只要将用户的个性化信息与图文等资源的内容特征进行简单的捆绑,特征规模就很容易扩张到百亿甚至千亿级别。
分享给小伙伴们:
本文标签:

相关文章

Copyright © 2002-2019 佳木斯新闻 版权所有 Power by DedeMao