浪潮发布基于KNL的并行开源深度学习框架CAFFE-MPI

德国当地时间6月20日，与英特尔宣布第二代至强Phi芯片“Knights Landing”（以下称KNL）正式上市同步，浪潮在刚刚举行的第31届国际超算大会（ISC2016）上，全球首发基于最新KNL平台的深度学习计算框架Caffe-MPI，这标志着浪潮称为全球第一个在英特尔最新的KNL平台上完成Caffe并行开发的公司。

浪潮集团副总裁胡雷钧表示，此次KNL平台Caffe-MPI的发布，一方面显示出浪潮与英特尔紧密的合作关系，另一方面也将为全球深度学习用户带来新的协处理加速解决方案，让他们可以选择最贴合自身实际应用的异构加速技术。目前，浪潮推动的开源Caffe-MPI已受到中国、印度、美国等众多公司和研究机构的关注。

浪潮Caffe-MPI是全球首款高性能MPI集群版的Caffe深度学习计算框架，其采用成熟的MPI技术对Caffe予以数据并行的优化，其目标是解决深度学习计算模型训练的效率问题。Caffe是目前最快的深度卷积神经网络（Deep Convolutional Neural Networks，CNN）架构，它最早由UC伯克利实验室完成单机单卡的开发，针对CNN训练所设计。然而随着训练模型越来越复杂、训练数据越发庞大，单机单卡已经不能满足用户的实际需求。

为此，浪潮在伯克利caffe架构的基础上，针对HPC系统架构技术设计，率先完成了多机多卡的并行化开发，并完全保留了原始caffe架构的特性。浪潮Caffe-MPI硬件系统采用Lustre存储+IB网络+HPC集群，基于Lustre并行存储采用多进程+多线程机制并行读取训练数据，实现较高的IO吞吐；采用IB网络实现高速互联网，实现参数的快速传输和模型更新；采用数据并行机制，利用HPC集群实现大规模训练。同时，浪潮Caffe-MPI可以采用多机多卡同时训练，并可以部署到大规模训练平台上，实现对大规模数据样本的训练。

新一代Xeon Phi处理器Knights Landing既可以做协处理器，也可以单独做中央主处理器，处理器核心数量超过72个，并支持四线程，最多拥有288个线程，双精度浮点性能超过3TFlops，单精度则超过6TFlops，被业界视为在高性能计算和深度学习领域革命性的产品。随着此次浪潮率先发布基于KNL平台的Caffe-MPI，相信会有更多的用户感受到新技术在深度学习效率上带来的诸多提升。