超异构计算时代英特尔软硬件协同创新将AI进行到底 原创

至顶网服务器频道 07月18日 新闻消息（文/李祥敬）：“当我们展望下一个十年，或者更长远的未来，随着人工智能应用的愈加广泛和深入，传统的异构计算已经不能满足日益发展的人工智能计算需求，我们正在迈入超异构计算时代。”这是英特尔对于未来计算的思考判断。

在AI时代，我们面临的应用和工作负载日趋多样化，对应承载的平台也需要异构化。英特尔以制程和封装、架构、内存和存储、互连、安全、软件这六大技术支柱来应对未来数据量的爆炸式增长、数据的多样化以及处理方式的多样性。这六大技术支柱是互相相关、紧密耦合的，驱动英特尔的产品持续创新，支撑着未来以数据为中心的业务的持续演进。

英特尔能够提供多样化的标量、矢量、矩阵和空间架构组合，以先进制程技术进行设计，由颠覆性内存层次结构提供支持，通过先进封装集成到系统中，使用光速互连进行超大规模部署，提供统一的软件开发接口以及安全功能，从而实现超异构计算的技术愿景。

近日，英特尔人工智能大会（AIDC）深圳站和2019全球人工智能与机器人峰会（CCF-GAIR） 相继举行，在这两个活动上，英特尔在硬件、软件以及生态合作等维度上全面展示了自己的AI战略，那就是以数据为中心提供端到端的全面产品组合，通过软硬件协同创新推动整个AI的发展。

以数据为中心的AI思考

面对数据洪流，数据将成为改变传统的度量依据，流程的优化、产品的迭代、商业模式的创新，都将由数据来驱动。人工智能、5G和自动驾驶等新技术不断发展，用户目前对于数据分析、传输和存储的需求持续增加。而数据价值的实现来不开计算平台的支撑，特别是AI的发展，让企业在实现数据驱动方面有了重要的抓手。

在英特尔看来，人工智能是一个转折性技术。AI正在迅速成熟，人工智能并非单一的工作负载，AI模型的复杂性以及对大规模深度学习计算的需求将爆发式增长。AI正在走向一个异构的世界，并驱动以数据为中心的世界。

基于这样的判断，英特尔的AI战略涉及三个方面：硬件、软件以及生态。硬件层面，英特尔不断提升算力，同时还要确保硬件产品能够适用于各个场景；软件方面，底层硬件的计算能力通过软件优化才可以发挥出来，同时软件工具的易用性和稳定性在AI开发和落地中扮演了重要的角色；在硬件和软件就绪的情况下，蓬勃的生态至关重要，这样才能推动AI在行业中的落地。

英特尔的愿景是利用英特尔的架构，通过对封装与制程技术、内存和存储、互连、安全以及软件方面的投入，能够使得整个计算的平台更强大、更易用。随着AI应用越来越多，AI的应用场景已经覆盖终端、边缘、云端，可以说是无处不在。在这些应用场景当中，计算平台需要有专门的设计进行优化处理。

英特尔提供了一个端到端的丰富产品线布局，既有通用计算的平台方案，又有加速器的方案，这个产品线包括了凌动（Atom）、酷睿（Core）、英特尔至强处理器、Altera FPGA、Nervana、Movidius Myriad等，完整覆盖了从边缘一直到云端的计算场景。

比如第二代英特尔至强可扩展处理器Cascade Lake搭载了全新的AI功能英特尔DL Boost，英特尔DL Boost是一套旨在加快人工智能深度学习速度的处理器技术。DL Boost基于AVX-512扩展新的矢量神经网络指令集（VNNI），性能提升是数量级的，具有更好的TCO，为终端用户提供更一致性的体验。基于DL Boost加速指令集，英特尔至强可扩展处理器在某些AI推理计算中超越GPU加速器方案。

在边缘AI方面，英特尔推出了神经计算棒二代（NCS 2）NCS 2计算棒基于Movidius Myriad X视觉处理单元（VPU），利用该计算棒可以在网络边缘构建AI算法和计算机视觉原型设备，并支持英特尔OpenVINO工具包。

依托如此丰富的硬件组合，英特尔为AI落地提供了强有力的算力支持。英特尔认为，对于全新硬件架构的每一个数量级的性能提升潜力，软件能带来超过两个数量级的性能提升。如果想实现指数级的增长，必须要硬件和软件共同创新。软件社区和硬件社区相互交流，并真正去思考彼此的问题，比以往任何时候都更重要。

所以，英特尔在人工智能方面提供优越的硬件选择，并通过软件来最大化释放硬件的性能。有了新硬件通过软件优化，通常可以给到一百倍以上的加速，比如Skylake处理器通过软硬件集合优化以后，AI推理性能可以提高275倍之多。

软件驱动的指数级创新

在英特尔看来，AI的发展一定是硬件与软件的结合，计算力指数级上升的实现，正是基于硬件与软件的结合。所以英特尔不断针对软件层面进行优化，并通过软件来最大化释放硬件的性能。总的来说，英特尔在软件优化方面涉及三个层面：贴近于硬件的指令集、库和框架、工具套件等。

AI加速指令集技术内嵌在芯片内部，对于AI开发者而言，他们仍然需要AI软件工具和框架，于是英特尔跟AI软件生态链不断合作，将AI加速指令集融合到最主流的AI计算框架当中，像PyTorch、Caffe、Tensorflow等。

在软件工具方面，英特尔推出了开源的深度神经网络核心库（英特尔MKL-DNN）；基于大数据平台（Hadoop/Spark）的原生分布式深度学习库BigDL；统一的大数据分析和人工智能平台和Analytics Zoo；针对边缘部署的可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件OpenVINO。这些为AI应用开发提供了简便和可扩展、开放性，打造了统一的开发体验。

英特尔高级首席工程师、大数据技术全球CTO戴金权告诉记者，如果企业已经有了非常成熟的大数据基础设施，通过BigDL和Analytics Zoo就不需要再搭一套深度学习的环境，而是在现有的大数据平台上构建新的大数据分析和人工智能应用，保护企业的投资，提高资源利用率和端到端的开发和部署效率。"英特尔致力于提供全栈式的人工智能解决方案，帮助用户新技术应用在生产环境中，加快统一的大数据处理分析和人工智能相结合的技术创新和快速落地。"

BigDL是在2016年10月30日正式开源，在过去两三年中，非常多的用户使用BigDL构建深度学习的应用。戴金权说，对很多用户来说，真正想要解决的问题是并不是哪一个框架更好用，而是要构建一个完整的端到端的大数据处理分析加上深度学习的应用，这就需要把很多不同的库、不同的框架整合在一起。于是，响应客户的需求，英特尔去年又开源了Analytics Zoo这个新项目，它是基于Apache Spark，TensorFlow等底层框架之上更高阶的人工智能流水线和平台。

针对边缘侧的计算和AI需求，OpenVINO对于不同的硬件端可以加载不同的模型，比如它支持CPU、FPGA、Movidius、GPU等，编写一次以后可以通过异构的接口支撑跑在其他的硬件平台之上。OpenVINO对于整个深度学习框架的泛用性是全方位的支持，缩短开发时间。而基于OpenVINO提供的OpenCV、OpeenVX的基础库，企业可以开发自己特定的算法，实现定制化创新。

目前，英特尔的这些软件产品和技术已经应用在行业中。英特尔不仅是帮助客户使用其平台和工具，而且帮助客户在平台和工具上面构建应用。也就是“授人以鱼不如授人以渔”，比如英特尔帮助美的在生产制造中利用AI技术进行产品质量的管控。在应用中，美的充分利用了英特尔平台端到端方案的灵活性，在终端生产线上面使用酷睿平台进行边缘处理，在数据中心利用英特尔至强处理器平台。在软件上面，美的充分利用了英特尔架构生态链当中的多种组件，比如在前端方案中利用OpenVINO，在后端部署Analytics Zoo，这样一个端到端的应用在美的落地应用，帮助美的的制造生产的质量管控起到了非常好的效果。

戴金权说，英特尔在软件方面一直持续创新，通过One API的软件策略，不断推进软件通用化、标准化，通过一个软件平台和一套软件工具，支撑针对标量数据的通用CPU、针对矢量计算的GPU、针对矩阵运算的AI计算芯片、针对空间计算的FPGA方案的加速方案。"我们希望通过统一的软件编程接口API，使得开发者能够充分利用底层架构实现高性能计算，面向应用实现一次编程，摆脱特定硬件的限制。这样一个平台我们会做得非常开放，通过开源的形式提供给开发者。"

成熟生态体系带来的AI便利性

AI需要与行业应用场景进行融合才能最大发挥其价值。AI模型最终需要应用于生产环境中，这是英特尔AI优先考虑的。目前，CPU已经广泛应用在各个行业应用场景中，CPU的稳定性、可靠性已经得到验证。为了承载AI应用，行业客户需要考虑部署的便利性以及成本。在现有成熟的英特尔x86生态，行业客户对于底层IT基础设施不需要进行太大的改动，就可以享受到AI的便利性。

比如在医疗影像AI应用方面，为了加快医学影像人工智能诊断速度，英特尔人工智能构建者计划成员企业——杭州健培科技有限公司（简称健培科技）将影像阅片机器人移植到英特尔至强可扩展处理器上，用于内部系统或基于云的医疗数据平台，并使用英特尔TensorFlow优化库（包括英特尔MKL-DNN库）进行优化。

健培科技董事长程国华表示，健培科技在平台迁移过程中进行了选型调查，包括GPU方案、FPGA方案等。经过详细考察，选择了英特尔的CPU方案，英特尔可扩展处理器系列非常适合深度学习应用程序。它可以直接读取高达384GB的内存，以便快速访问影像数据进行推理，解决了健培科技的云计算以及对高通量图像3D计算的要求。与其他人工智能处理技术相比，它能更好地满足基于人工智能的CT图像分析的要求。

此外，英特尔TensorFlow优化利用英特尔深度神经网络的核心库（英特尔MKL-DNN）帮助健培科技提高了影像数据处理性能。此外，它还定制了5000多个新功能，以更好地支持医学图像分析问题。结果就是健培科技影像阅片机器人图像读取性能上最高提升了8倍。

当前边缘产生的的数据正在蓬勃发展，从服务器端转化为轻量的边缘端计算。对于健培科技而言，他们现在服务更多基层医疗机构，边缘计算和AI应用需求逐渐显现。程国华透露，接下来，健培科技将和英特尔在OpenVINO方面展开更多合作，满足移动端AI部署的需求。

在边缘AI方面的探索，除了健培科技，赛特斯信息科技股份有限公司（简称赛特斯）也将AI方向应用逐步转移部署于边缘计算设备，聚焦于电网和交通领域，并已有成熟应用落地。在电网领域，赛特斯信息科技股份有限公司（简称赛特斯）与某电网公司针对危害性较强的线下钓鱼触电隐患，研发了电网防钓鱼触电隐患监控系统；在交通领域，赛特斯与某国家海事局共同研发了海事智能船舶统计系统。

赛特斯信息科技方案架构师蔡旭阳说，英特尔OpenVINO对赛特斯AI方案的提升主要是三个方面。第一，硬件端的提升，前端部署了带有计算功能的智能摄像头可以节省了很多服务器硬件的采购。第二，部署方案的优化。以前将所有的算法全部部署在中心分析服务器上，负载很高，运维压力大。云边协同的部署方案更加提升了我们的设备性能。第三，算法性能方面的优化。在英特尔架构的CPU上，深度学习目标检测算法的计算速度较通用版本深度学习目标检测算法计算速度提升了二十多倍。

最终，OpenVINO工具包，为赛特斯“云边协同”的发展规划铺平了道路，在提升计算速度、提高检测精度的同时，降低了硬件成本及研发成本，真正使得深度学习应用部署于边缘设备端成为优势方案，强化了公司在行业的技术的领先地位，在满足客户需求的同时帮助客户降低运营成本。”

英特尔在产业中的独到之处就是构建了一个强有力的开放、标准的生态链，不管是开放硬件架构还是One API等软件技术，打造一个完整的生态，推动整个产业的转型升级。

结语

在AI的发展过程当中，英特尔持续投入，进一步丰富了AI计算平台和方案，把更多选项提供给开发者。硬件架构的不断细分，满足了用户特定的数据处理类型和需求；统一的软件开发平台让开发者可以充分利用不同AI加速芯片方案。而以客户为中心，通过与行业合作伙伴打造协同创新的生态，赋能产业，英特尔在未来的路上将AI进行到底。