大多数人对Uber在人工智能领域的认知可能都来自于自动驾驶,但实际上Uber在人工智能底层技术上也有卓越的贡献,其开源的分布式深度学习框架Horovod是世界上最优秀的人工智能训练加速框架之一,数以万计的人工智能开发者和组织从中受益。8月28日,在北京举行的2019人工智能计算大会(AICC2019)上,Uber深度学习平台经理宁旭将在大会主论坛上分享如何更好的使用Horovod加速AI模型训练。
Horovod实质上是Uber开发并开源的一套先进的分布式系统,它并不依赖于某个框架,而是采用目前业界广泛认可的基于环形All-reduce通信的同步SGD算法,通过计算与通信异步、梯度合并、梯度压缩等设备间通信优化手段,完成allreduce、allgather等集体操作通信工作。这一特性使得Horovod可以非常方便地与主流深度学习框架TensorFlow、PyTorch、 MXNet等进行匹配,在大规模GPU集群上的训练性能远高于原生框架的训练性能,提供非常高效的分布式训练性能加速。Horovod的另一大优点在于其提供的接口极为简单,用户只需修改几行代码,就可实现显著的训练性能提升。
Horovod之所以受到越来越多AI开发者与研究机构的青睐,其背后的原因在于越来越多的机器学习模型对数据和计算能力需求急剧增加。在大部分情况下,AI模型可以在单个或多GPU平台的服务器上运行,但随着数据集的增大和训练时间的增长,有时训练需要一周甚至更长时间。因此,AI开发者们不得不寻求分布式训练方法来缩短模型训练的时间。
Uber目前已经将深度学习应用到了很多公司业务中,从自动驾驶搜索路线到防御欺诈等。Uber深度学习平台经理宁旭认为,训练现代复杂的深度学习模型需要大量的计算。将计算扩展到多个GPU面临两大挑战:低成本、高效的GPU间通信库,以及用户代码可能会出现较大的更改。而Horovod成功地解决了这两大难题。
在AICC2019上,宁旭将带来《利用Horovod进行分布式深度学习》的主题演讲,不仅将现场分享如何通过Horovod在TensorFlow、Keras、PyTorch和MXNet中实现更快、更轻松的分布式训练,讲解Horovod的操作方法,同时也将披露Uber最近在橡树岭国家实验室进行的一项案例研究,讲述Horovod在世界上最快的超级计算机上实现百亿亿级计算。
宁旭曾带领Uber大数据和基础设施领域的团队负责一些开源项目,在机器学习、深度学习、大数据和大规模计算、网络、存储问题方面有丰富的经验。在加入Uber之前,宁旭曾在Facebook、Akamai和Microsoft以及几家初创公司工作。
本届AICC 2019可谓精彩纷呈,核心板块为主论坛与自动驾驶、产业AI创新、AI计算与基准测试、AI+视觉计算、AI+创投五大主题论坛,其中主论坛嘉宾云集了来自中国工程院、英国皇家工程院、百度、中国新一代人工智能发展战略研究院、浪潮、Facebook等机构的AI产学研顶尖专家学者,共聚一堂解读AI产业趋势,分享前沿AI计算技术。大会同期举行的AI千人训练营将邀请百度、平安科技、浪潮的资深AI工程师讲解最新AI计算技术与应用,帮助学员从零入门AI。
好文章,需要你的鼓励
SAP S/4HANA内存ERP系统推出十多年后,95%的传统用户表示构建积极的迁移案例需要巨大努力或面临真正挑战。一项涵盖455名CIO、高级IT角色、SAP专家和业务经理的调查发现,83%的受访者不完全理解SAP最新的迁移政策和截止日期,84%对当前信息传递及其对运营的影响表示担忧。SAP为传统ECC系统设定了激进的支持截止日期,主流支持将于2027年结束。
北京大学团队开发出WoW世界模型,这是首个真正理解物理规律的AI系统。通过200万机器人互动数据训练,WoW不仅能生成逼真视频,更能理解重力、碰撞等物理定律。其创新的SOPHIA框架让AI具备自我纠错能力,在物理理解测试中达到80.16%准确率。该技术将推动智能机器人、视频制作等领域发展,为通用人工智能奠定重要基础。
微软通过其Planetary Computer平台将NASA的Landsat和Sentinel-2卫星数据集引入Azure云服务。该数据集包含来自NASA的Landsat 8、9号卫星以及欧洲航天局Sentinel-2系列卫星的地球监测数据,为气候变化、土地利用、农业应用等研究提供宝贵资源。用户可通过API或Azure存储直接访问这些PB级全球环境数据。微软还建议研究人员使用Azure OpenAI服务创建智能应用,结合AI技术进行土地分类、植被监测、森林砍伐趋势分析等地球观测研究。
香港大学和蚂蚁集团联合推出PromptCoT 2.0,这是一种让AI自动生成高质量训练题目的创新方法。通过"概念-思路-题目"的三步策略,AI能像老师备课一样先构思解题思路再出题,大幅提升了题目质量和训练效果。实验显示该方法在数学竞赛和编程任务上都取得了显著提升,为解决AI训练数据稀缺问题提供了新思路。