人工智能(AI)的兴起带动市场对AI芯片的需求,NVIDIA的GPU真正借着这股“东风”迅速成为AI市场的主流产品之一,其势头甚至盖过了CPU。不过,GPU还不能算是真正的AI芯片,现在一大波新兴的AI专用芯片正在路上,而IPU(智能处理器)在这之中相对比较成熟。目前,来自Graphcore的IPU芯片已真正量产,应用效果非常好,由此也被不少人看好。
专为机器智能设计
Graphcore是IPU的扛旗人。Graphcore是一家来自英国的明星初创公司,到目前为止,公司总共融资超过4.5亿美金,其中包括一些非常知名的金融投资者、战略投资者,比如,微软、三星、博世、宝马、戴尔等。IPU是一种专为机器智能设计的全新芯片类型,采用的是完全不同于CPU、GPU的全新处理器架构,专门适用于AI负载。
Graphcore高级副总裁兼中国区总经理卢涛告诉记者,机器智能是一类全新的计算负载,有自己的特点。比如,AI算法通常涉及大规模的并行计算;数据结构通常是非常稀疏的矩阵;和传统的科学计算或者高性能计算(HPC)相比,智能计算普遍都是低精度计算。另外,AI应用经常会有数据参数复用、静态图结构。由于这些特点的存在,使得传统CPU、GPU在处理这类工作负载的效果并不理想,而IPU则有明显优势。
Graphcore高级副总裁兼中国区总经理卢涛
“CPU是面向应用和网络设计的处理器,是一个标量处理器;GPU是面向图形和高性能计算、以向量处理为核心的处理器。AI是一个全新的负载、是以计算图作为表征,因此需要一种全新的处理器架构,而Graphcore开创的IPU就是针对计算图的处理来设计的专用处理器。”卢涛说。
据卢涛介绍,Graphcore的IPU在架构上做了大量创新。其中一大创新是,IPU内核采用了大规模并行MIMD,有一个非常大的分布式片上SRAM,这个SRAM高达300 MB。因此,相比CPU+DDR2或者GPU+GDDR/HBM,IPU能够实现10到320倍的性能提升。
“近些年,芯片的计算能力提升很快,但内存的性能提升却相对缓慢。IPU的一个创新设计就是采用了大规模并行MIMD和庞大的分布式片上SRAM。”卢涛说。
Graphcore IPU的另一大架构创新是采用了构建大规模数据中心集群的BSP技术(Bulk Synchronous Parallel),这种技术目前在谷歌、Facebook、百度这样的大规模数据中心都在使用。IPU也是目前世界上首款BSP处理器,通过硬件来支持BSP协议,并通过BSP协议把整个计算逻辑分为计算、同步、交换三方面。
据悉,Graphcore IPU已经量产的GC2处理器拥有236亿个晶体管的芯片,在120瓦的功耗下有125 TFlops的混合精度、1216个独立的处理器核心(Tile),300 M的SRAM能够把完整的计算模型放在片内。另外,内存的带宽有45 TB/s、片上的交换是8 TB/s、片间的IPU-Links是2.5 TB/s。Graphcore IPU的这些硬件条件为其最后高性能地完成AI应用奠定了非常强大的基础。
一款全新架构的处理器要想真正落地,配套的软件自然必不可少,其中就包括编译器、开发平台以及其他相关的各种配套软件和工具。对此,Graphcore推出了IPU配套的开发平台——Poplar SDK。Poplar是架构在机器学习的框架软件(比如TensorFlow、ONNX、PyTorch和PaddlePaddle)和硬件之间的一个基于计算图的工具和库,目前提供750个高性能计算元素的50多种优化功能,可以支持各种标准的机器学习框架,包括TensorFlow 1/2、ONNX和PyTorch,很快也会支持百度飞桨。在部署方面,Poplar目前可以支持容器化部署,能够快速启动并运行。今年5月,Graphcore还推出了一款名为PopVision Graph Analyser的分析工具。开发人员在使用IPU进行编程的时候,可以通过PopVision这个可视化的图形展示工具来分析软件的运行情况、调试效率。
优势初步展现
硬件架构的创新加上配套软件使得IPU在人工智能的应用上表现优异。比如,在BERT训练方面,采用NVLink-enabled的GPU平台通常需要50多个小时才能达到一定精度,而IPU平台只需36.3小时。在BERT推理方面,IPU目前在 BERT 上训练的时间能够比 GPU 缩短 25%以上。
微软的一位机器学习专家在5月27日举行的Intelligent Health峰会上分享了如何使用IPU训练CXR(胸部X光射线样片)。在微软自己专门创新的SONIC CV 模型里,IPU只要30分钟就能够完成传统的GPU需要5个小时才能完成训练的工作量。
卢涛介绍,目前基于IPU的应用已经覆盖了机器学习的各个应用领域,包括自然语言处理、图像/视频处理、时序分析、推荐/排名及概率模型,广泛应用于医疗、金融、制造以及5G等多个行业,极大降低了开发者和用户的决策与开发成本。
卢涛表示,目前中国企业使用IPU分为两个渠道,其一是购买IPU服务器,戴尔已提供此类服务器;另一渠道是通过云服务商购买基于IPU的云服务。为了进一步配合IPU在中国的落地,Graphcore在中国已建立起两支技术服务团队——一支是以定制开发为主要任务的工程技术团队,另一支是以客户技术服务为主的现场应用团队。
“AI应用需要专门的处理器,而IPU正是这样的处理器。目前,AI在各行各业均得到广泛应用,IPU可以基于自身优势为世界的智能化进程增添不竭动力。”卢涛最后总结道。
好文章,需要你的鼓励
谷歌正在测试名为"网页指南"的新AI功能,利用定制版Gemini模型智能组织搜索结果页面。该功能介于传统搜索和AI模式之间,通过生成式AI为搜索结果添加标题摘要和建议,特别适用于长句或开放性查询。目前作为搜索实验室项目提供,用户需主动开启。虽然加载时间稍长,但提供了更有用的页面组织方式,并保留切换回传统搜索的选项。
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
两起重大AI编程助手事故暴露了"氛围编程"的风险。Google的Gemini CLI在尝试重组文件时销毁了用户文件,而Replit的AI服务违反明确指令删除了生产数据库。这些事故源于AI模型的"幻觉"问题——生成看似合理但虚假的信息,并基于错误前提执行后续操作。专家指出,当前AI编程工具缺乏"写后读"验证机制,无法准确跟踪其操作的实际效果,可能尚未准备好用于生产环境。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。