IBM日前放出话来,说旗下POWER服务器上的机器学习不仅仅是比谷歌云的TensorFlow快而已,而是快了整整46倍。
谷歌软件工程师Andreas Sterbenz今年二月曾发文描述如何利用谷歌云机器学习和TensorFlow进行大规模广告和推荐场景点击预测。
他训练的模型可用来预测Criteo Labs点击日志(http://labs.criteo.com/)上显示广告的点击次数,Criteo Labs点击日志的大小超过1TB,包含来自数百万显示广告的特征值和点击反馈资料。
数据经过预处理(60分钟)后进行实际学习,训练用了60台工作机器和29台参数机器。该模型的训练花了70分钟,评估损失为0.1293。据我们的理解,该数值是准确性的粗略指标。
Sterbenz然后用了不同的建模技术,以获得更好的结果和减少评估损失,这样做花的时间会更长,最后用的模型是一个三期(Epoch)深度神经网络(Epoch指所有训练矢量更新权重的次数),耗时78小时。
IBM对此并不感兴趣,IBM希望证明自己的训练框架在POWER9服务器和GPU上运行时,在基本初始训练方面的性能比谷歌云平台上89台机器还要好。
苏黎世IBM研究中心的Thomas Parnell和Celestine Dunner用了相同的源数据,都是 Criteo Terabyte Click Logs(Criteo TB点击日志),训练样本达42亿个,特征达100万个,用的机器学习模型、逻辑回归都相同,但机器学习库不同。Parnell和Dunner用的是Snap机器学习库(Snap ML)(https://arxiv.org/pdf/1803.06333.pdf)。
他们在四台Power System AC922服务器上用Snap ML进行训练,即是说8个POWER9 CPU和16个Nvidia Tesla V100 GPU。完成时间不是70分钟,而是91.5秒,快了46倍。
他们给出了一张图表,比较了Snap ML、谷歌TensorFlow和另外三个库的表现:
速度是TensorFlow的46倍,这样的改进是不可小视的。二位研究人员将其归因于什么呢?
他们表示,Snap ML的特点是多层次并行性,可以在集群里不同节点之间分配工作负载,因而可以利用加速器单元,而且还可以利用各计算单元的多核并行性
1、首先,将数据分布到集群中的各工作节点上
2、再将节点上的数据分配到并行运行的CPU和加速GPU上
3、数据再被发送到GPU的多个内核,而CPU工作负载用的是多线程
Snap ML对分层算法功能进行嵌套,以利用三个层级上的并行性。
IBM研究人员并没有说TensorFlow未利用并行性,也没有提供Snap ML和TensorFlowz之间在这方面的比较。
但他们确实提到,“我们实行了专门的解决方案,目的是利用GPU的大规模并行架构,同时又不违背GPU内存中的数据局部性,这样就可以避免大量的数据传输开销。”
他们的文章称,用NVLink 2.0接口的AC922服务器比用接到Tesla GPU的PCIe接口的至强服务器(至强黄金版6150 CPU @ 2.70GHz)要快。 文章表示,“对于基于PCIe的设置,我们测到的有效带宽为11.8GB /秒,对于基于NVLink的设置,我们测到的有效带宽为68.1GB /秒。”
发送到GPU的训练数据就会在GPU里处理。 NVLink系统向GPU发送数据块的速度比PCIe系统快得多,时间为55ms,而不是318ms。
IBM团队还表示,“我们将系统用到的算法在用于稀疏数据结构时做了一些新的优化。”
总的来说, Snap ML似乎可以更多地利用Nvidia GPU,与x86服务器产品的PCIe链接比,在NVLink上可以更快地将数据传给Nvidia GPU。我们不知道POWER9 CPU与Xeons的速度相比时如何;就我们所知,IBM尚未公开发布任何POWER9与Xeon SP直接比较的结果。
我们其实也无法说Snap ML比TensorFlow好了多少,只有在相同的硬件上运行Snap ML和TensorFlow做了比较以后才能见分晓。
无论怎么说,时间缩短了46倍的确令人印象深刻,这样的表现给了IBM推动旗下POWER9服务器很大的空间,POWER9服务器可以成为加插Nvidia GPU运行Snap ML库及进行机器学习的场所。
好文章,需要你的鼓励
Zopa银行正式推出可在几分钟内开户的活期账户服务,面向其150万储蓄和贷款客户以外的更广泛用户群体。该账户此前已有6万名现有客户参与测试,正式发布时间比预期提前。作为金融科技先驱,Zopa在2020年获得完整银行牌照后推出首款储蓄产品,目前拥有140万客户,年收入超过3亿英镑,存款规模超过50亿英镑。
清华大学团队通过创新的"模式感知重排序"技术,解决了AI视频生成中注意力机制计算效率低下的问题。该技术将复杂分散的注意力模式重新整理成规整的块状结构,结合专门设计的稀疏化和量化策略,在保持生成质量的同时将计算速度提升1.9-2.7倍,为AI视频生成的普及应用铺平道路。
Mozilla正式推出Firefox 140浏览器,作为扩展支持版本(ESR)发布。新版本增加了标签页卸载功能,可清理内存并在需要时重新加载。垂直标签页用户可调整固定标签区域大小,隐私翻译功能现可跟随滚动位置优先翻译当前查看区域。Android版本支持批量选择标签页,私人标签可通过密码或指纹保护。该版本同时更新ESR 128用户,为下游项目如Waterfox和Thunderbird提供新版本基础。
哥伦比亚大学研究团队开发出新的AI偏见纠正技术,通过"重排序"方法让人工智能在总结政治观点时保持公正。该方法让AI生成多个版本后择优选择,结合偏好调优训练,显著提升了观点覆盖度和内容准确性,为构建更可信赖的AI系统提供了实用解决方案。