IBM称旗下的Snap机器学习库比TensorFlow快46倍

IBM日前放出话来，说旗下POWER服务器上的机器学习不仅仅是比谷歌云的TensorFlow快而已，而是快了整整46倍。

谷歌软件工程师Andreas Sterbenz今年二月曾发文描述如何利用谷歌云机器学习和TensorFlow进行大规模广告和推荐场景点击预测。

他训练的模型可用来预测Criteo Labs点击日志(http://labs.criteo.com/)上显示广告的点击次数，Criteo Labs点击日志的大小超过1TB，包含来自数百万显示广告的特征值和点击反馈资料。

数据经过预处理（60分钟）后进行实际学习，训练用了60台工作机器和29台参数机器。该模型的训练花了70分钟，评估损失为0.1293。据我们的理解，该数值是准确性的粗略指标。

Sterbenz然后用了不同的建模技术，以获得更好的结果和减少评估损失，这样做花的时间会更长，最后用的模型是一个三期（Epoch）深度神经网络（Epoch指所有训练矢量更新权重的次数），耗时78小时。

IBM对此并不感兴趣，IBM希望证明自己的训练框架在POWER9服务器和GPU上运行时，在基本初始训练方面的性能比谷歌云平台上89台机器还要好。

苏黎世IBM研究中心的Thomas Parnell和Celestine Dunner用了相同的源数据，都是 Criteo Terabyte Click Logs（Criteo TB点击日志），训练样本达42亿个，特征达100万个，用的机器学习模型、逻辑回归都相同，但机器学习库不同。Parnell和Dunner用的是Snap机器学习库（Snap ML）（https://arxiv.org/pdf/1803.06333.pdf）。

他们在四台Power System AC922服务器上用Snap ML进行训练，即是说8个POWER9 CPU和16个Nvidia Tesla V100 GPU。完成时间不是70分钟，而是91.5秒，快了46倍。

他们给出了一张图表，比较了Snap ML、谷歌TensorFlow和另外三个库的表现：

速度是TensorFlow的46倍，这样的改进是不可小视的。二位研究人员将其归因于什么呢？

他们表示，Snap ML的特点是多层次并行性，可以在集群里不同节点之间分配工作负载，因而可以利用加速器单元，而且还可以利用各计算单元的多核并行性

1、首先，将数据分布到集群中的各工作节点上

2、再将节点上的数据分配到并行运行的CPU和加速GPU上

3、数据再被发送到GPU的多个内核，而CPU工作负载用的是多线程

Snap ML对分层算法功能进行嵌套，以利用三个层级上的并行性。

IBM研究人员并没有说TensorFlow未利用并行性，也没有提供Snap ML和TensorFlowz之间在这方面的比较。

但他们确实提到，“我们实行了专门的解决方案，目的是利用GPU的大规模并行架构，同时又不违背GPU内存中的数据局部性，这样就可以避免大量的数据传输开销。”

他们的文章称，用NVLink 2.0接口的AC922服务器比用接到Tesla GPU的PCIe接口的至强服务器（至强黄金版6150 CPU @ 2.70GHz）要快。 文章表示，“对于基于PCIe的设置，我们测到的有效带宽为11.8GB /秒，对于基于NVLink的设置，我们测到的有效带宽为68.1GB /秒。”

发送到GPU的训练数据就会在GPU里处理。 NVLink系统向GPU发送数据块的速度比PCIe系统快得多，时间为55ms，而不是318ms。

IBM团队还表示，“我们将系统用到的算法在用于稀疏数据结构时做了一些新的优化。”

总的来说， Snap ML似乎可以更多地利用Nvidia GPU，与x86服务器产品的PCIe链接比，在NVLink上可以更快地将数据传给Nvidia GPU。我们不知道POWER9 CPU与Xeons的速度相比时如何；就我们所知，IBM尚未公开发布任何POWER9与Xeon SP直接比较的结果。

我们其实也无法说Snap ML比TensorFlow好了多少，只有在相同的硬件上运行Snap ML和TensorFlow做了比较以后才能见分晓。

无论怎么说，时间缩短了46倍的确令人印象深刻，这样的表现给了IBM推动旗下POWER9服务器很大的空间，POWER9服务器可以成为加插Nvidia GPU运行Snap ML库及进行机器学习的场所。