CPU、GPU之外，IPU能否撑起AI芯片市场的第三极？

人工智能（AI）的兴起带动市场对AI芯片的需求，NVIDIA的GPU真正借着这股“东风”迅速成为AI市场的主流产品之一，其势头甚至盖过了CPU。不过，GPU还不能算是真正的AI芯片，现在一大波新兴的AI专用芯片正在路上，而IPU（智能处理器）在这之中相对比较成熟。目前，来自Graphcore的IPU芯片已真正量产，应用效果非常好，由此也被不少人看好。

专为机器智能设计

Graphcore是IPU的扛旗人。Graphcore是一家来自英国的明星初创公司，到目前为止，公司总共融资超过4.5亿美金，其中包括一些非常知名的金融投资者、战略投资者，比如，微软、三星、博世、宝马、戴尔等。IPU是一种专为机器智能设计的全新芯片类型，采用的是完全不同于CPU、GPU的全新处理器架构，专门适用于AI负载。

Graphcore高级副总裁兼中国区总经理卢涛告诉记者，机器智能是一类全新的计算负载，有自己的特点。比如，AI算法通常涉及大规模的并行计算；数据结构通常是非常稀疏的矩阵；和传统的科学计算或者高性能计算（HPC）相比，智能计算普遍都是低精度计算。另外，AI应用经常会有数据参数复用、静态图结构。由于这些特点的存在，使得传统CPU、GPU在处理这类工作负载的效果并不理想，而IPU则有明显优势。

Graphcore高级副总裁兼中国区总经理卢涛

“CPU是面向应用和网络设计的处理器，是一个标量处理器；GPU是面向图形和高性能计算、以向量处理为核心的处理器。AI是一个全新的负载、是以计算图作为表征，因此需要一种全新的处理器架构，而Graphcore开创的IPU就是针对计算图的处理来设计的专用处理器。”卢涛说。

据卢涛介绍，Graphcore的IPU在架构上做了大量创新。其中一大创新是，IPU内核采用了大规模并行MIMD，有一个非常大的分布式片上SRAM，这个SRAM高达300 MB。因此，相比CPU+DDR2或者GPU+GDDR/HBM，IPU能够实现10到320倍的性能提升。

“近些年，芯片的计算能力提升很快，但内存的性能提升却相对缓慢。IPU的一个创新设计就是采用了大规模并行MIMD和庞大的分布式片上SRAM。”卢涛说。

Graphcore IPU的另一大架构创新是采用了构建大规模数据中心集群的BSP技术（Bulk Synchronous Parallel），这种技术目前在谷歌、Facebook、百度这样的大规模数据中心都在使用。IPU也是目前世界上首款BSP处理器，通过硬件来支持BSP协议，并通过BSP协议把整个计算逻辑分为计算、同步、交换三方面。

据悉，Graphcore IPU已经量产的GC2处理器拥有236亿个晶体管的芯片，在120瓦的功耗下有125 TFlops的混合精度、1216个独立的处理器核心（Tile），300 M的SRAM能够把完整的计算模型放在片内。另外，内存的带宽有45 TB/s、片上的交换是8 TB/s、片间的IPU-Links是2.5 TB/s。Graphcore IPU的这些硬件条件为其最后高性能地完成AI应用奠定了非常强大的基础。

一款全新架构的处理器要想真正落地，配套的软件自然必不可少，其中就包括编译器、开发平台以及其他相关的各种配套软件和工具。对此，Graphcore推出了IPU配套的开发平台——Poplar SDK。Poplar是架构在机器学习的框架软件（比如TensorFlow、ONNX、PyTorch和PaddlePaddle）和硬件之间的一个基于计算图的工具和库，目前提供750个高性能计算元素的50多种优化功能，可以支持各种标准的机器学习框架，包括TensorFlow 1/2、ONNX和PyTorch，很快也会支持百度飞桨。在部署方面，Poplar目前可以支持容器化部署，能够快速启动并运行。今年5月，Graphcore还推出了一款名为PopVision Graph Analyser的分析工具。开发人员在使用IPU进行编程的时候，可以通过PopVision这个可视化的图形展示工具来分析软件的运行情况、调试效率。

优势初步展现

硬件架构的创新加上配套软件使得IPU在人工智能的应用上表现优异。比如，在BERT训练方面，采用NVLink-enabled的GPU平台通常需要50多个小时才能达到一定精度，而IPU平台只需36.3小时。在BERT推理方面，IPU目前在 BERT 上训练的时间能够比 GPU 缩短 25%以上。

微软的一位机器学习专家在5月27日举行的Intelligent Health峰会上分享了如何使用IPU训练CXR（胸部X光射线样片）。在微软自己专门创新的SONIC CV 模型里，IPU只要30分钟就能够完成传统的GPU需要5个小时才能完成训练的工作量。

卢涛介绍，目前基于IPU的应用已经覆盖了机器学习的各个应用领域，包括自然语言处理、图像/视频处理、时序分析、推荐/排名及概率模型，广泛应用于医疗、金融、制造以及5G等多个行业，极大降低了开发者和用户的决策与开发成本。

卢涛表示，目前中国企业使用IPU分为两个渠道，其一是购买IPU服务器，戴尔已提供此类服务器；另一渠道是通过云服务商购买基于IPU的云服务。为了进一步配合IPU在中国的落地，Graphcore在中国已建立起两支技术服务团队——一支是以定制开发为主要任务的工程技术团队，另一支是以客户技术服务为主的现场应用团队。

“AI应用需要专门的处理器，而IPU正是这样的处理器。目前，AI在各行各业均得到广泛应用，IPU可以基于自身优势为世界的智能化进程增添不竭动力。”卢涛最后总结道。