IBM日前放出话来,说旗下POWER服务器上的机器学习不仅仅是比谷歌云的TensorFlow快而已,而是快了整整46倍。
谷歌软件工程师Andreas Sterbenz今年二月曾发文描述如何利用谷歌云机器学习和TensorFlow进行大规模广告和推荐场景点击预测。
他训练的模型可用来预测Criteo Labs点击日志(http://labs.criteo.com/)上显示广告的点击次数,Criteo Labs点击日志的大小超过1TB,包含来自数百万显示广告的特征值和点击反馈资料。
数据经过预处理(60分钟)后进行实际学习,训练用了60台工作机器和29台参数机器。该模型的训练花了70分钟,评估损失为0.1293。据我们的理解,该数值是准确性的粗略指标。
Sterbenz然后用了不同的建模技术,以获得更好的结果和减少评估损失,这样做花的时间会更长,最后用的模型是一个三期(Epoch)深度神经网络(Epoch指所有训练矢量更新权重的次数),耗时78小时。
IBM对此并不感兴趣,IBM希望证明自己的训练框架在POWER9服务器和GPU上运行时,在基本初始训练方面的性能比谷歌云平台上89台机器还要好。
苏黎世IBM研究中心的Thomas Parnell和Celestine Dunner用了相同的源数据,都是 Criteo Terabyte Click Logs(Criteo TB点击日志),训练样本达42亿个,特征达100万个,用的机器学习模型、逻辑回归都相同,但机器学习库不同。Parnell和Dunner用的是Snap机器学习库(Snap ML)(https://arxiv.org/pdf/1803.06333.pdf)。
他们在四台Power System AC922服务器上用Snap ML进行训练,即是说8个POWER9 CPU和16个Nvidia Tesla V100 GPU。完成时间不是70分钟,而是91.5秒,快了46倍。
他们给出了一张图表,比较了Snap ML、谷歌TensorFlow和另外三个库的表现:
速度是TensorFlow的46倍,这样的改进是不可小视的。二位研究人员将其归因于什么呢?
他们表示,Snap ML的特点是多层次并行性,可以在集群里不同节点之间分配工作负载,因而可以利用加速器单元,而且还可以利用各计算单元的多核并行性
1、首先,将数据分布到集群中的各工作节点上
2、再将节点上的数据分配到并行运行的CPU和加速GPU上
3、数据再被发送到GPU的多个内核,而CPU工作负载用的是多线程
Snap ML对分层算法功能进行嵌套,以利用三个层级上的并行性。
IBM研究人员并没有说TensorFlow未利用并行性,也没有提供Snap ML和TensorFlowz之间在这方面的比较。
但他们确实提到,“我们实行了专门的解决方案,目的是利用GPU的大规模并行架构,同时又不违背GPU内存中的数据局部性,这样就可以避免大量的数据传输开销。”
他们的文章称,用NVLink 2.0接口的AC922服务器比用接到Tesla GPU的PCIe接口的至强服务器(至强黄金版6150 CPU @ 2.70GHz)要快。 文章表示,“对于基于PCIe的设置,我们测到的有效带宽为11.8GB /秒,对于基于NVLink的设置,我们测到的有效带宽为68.1GB /秒。”
发送到GPU的训练数据就会在GPU里处理。 NVLink系统向GPU发送数据块的速度比PCIe系统快得多,时间为55ms,而不是318ms。
IBM团队还表示,“我们将系统用到的算法在用于稀疏数据结构时做了一些新的优化。”
总的来说, Snap ML似乎可以更多地利用Nvidia GPU,与x86服务器产品的PCIe链接比,在NVLink上可以更快地将数据传给Nvidia GPU。我们不知道POWER9 CPU与Xeons的速度相比时如何;就我们所知,IBM尚未公开发布任何POWER9与Xeon SP直接比较的结果。
我们其实也无法说Snap ML比TensorFlow好了多少,只有在相同的硬件上运行Snap ML和TensorFlow做了比较以后才能见分晓。
无论怎么说,时间缩短了46倍的确令人印象深刻,这样的表现给了IBM推动旗下POWER9服务器很大的空间,POWER9服务器可以成为加插Nvidia GPU运行Snap ML库及进行机器学习的场所。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。