说到大模型,算力稀缺是不可回避的问题。当大家都在抢购英伟达的GPU的时候,在缺货的等待期,我们不妨尝试其他产品。
就在今天MLCommons刚刚公布的MLPerf推理v3.1性能基准测试结果显示,英特尔Habana Gaudi2加速器、第四代英特尔至强可扩展处理器,以及英特尔至强CPU Max在AI推理方面表现出色。
我们看下具体的成绩:
用于测试的是60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J。Habana Gaudi2在GPT-J模型上的推理结果强有力地验证了其具有竞争力的性能。
英特尔提交了基于第四代英特尔至强可扩展处理器的7个推理基准测试,其中包括GPT-J模型。对于GPT-J对约1000-1500字新闻稿进行100字总结的任务,第四代至强可扩展处理器可在离线模式下完成每秒两段的总结提要,在实时服务器模式下完成每秒一段的总结提要。
英特尔首次提交了英特尔至强CPU Max系列的MLPerf 结果,该系列可提供高达64GB的高带宽内存。对于GPT-J而言,它是仅有的能够达到99.9%准确度的CPU,这对于对精度要求极高的应用来说至关重要。
除了这次AI推理的测试结构,根据6月披露的MLCommons AI训练结果和Hugging Face性能基准测试验证,Gaudi2在先进的视觉语言模型上,性能可以超越英伟达的H100处理器。
所以,从测试成绩看,Gaudi2与至强可扩展处理器完全可以用于深度学习推理及训练,加速人工智能模型。
其实Gaudi2与至强可扩展处理器之所以能够取得如此的成绩,主要是还是产品针对人工智能工作负载进行优化。比如Gaudi2集成了24个可编程Tensor处理器核心(TPCs),配置21个Gbps以太网接口,内存和缓存提高到96GB HBM2e和48MB SRAM,内存带宽升为2.4TB/s等。
在测试GPT-3时,Gaudi 2表现出了强劲性能,在384个加速器上训练时间达311分钟,从256个加速器到384个加速器实现了近线性95%的扩展。这使得Gaudi 2是除了英伟达产品外,唯一能把MLPerf GPT 3.0模型跑起来的芯片。

Gaudi 2作为一款专用AI加速芯片,相比英伟达的通用GPU A100和H100,其服务器成本更低,价格优势也更为明显。

第四代英特尔至强可扩展处理器最重要的特性之一,是新的AMX人工智能加速引擎,与上一代相比,它可以提供高达10倍的人工智能推理和训练性能提升,支持大多数大型AI模型,包括实时、中等吞吐量、低延迟稀疏推理,以及中、小型规模的训练和边缘推理。
MLPerf是业内享有盛名的AI性能基准测试,旨在实现公平、可重复的产品性能比较。这有助于企业基于测试成绩进行采购指南。
好文章,需要你的鼓励
英特尔第三季度财报超华尔街预期,净收入达41亿美元。公司通过裁员等成本削减措施及软银、英伟达和美国政府的大额投资实现复苏。第三季度资产负债表增加200亿美元,营收增长至137亿美元。尽管财务表现强劲,但代工业务的未来发展策略仍不明朗,该业务一直表现不佳且面临政府投资条件限制。
美国认知科学研究院团队首次成功将进化策略扩展到数十亿参数的大语言模型微调,在多项测试中全面超越传统强化学习方法。该技术仅需20%的训练样本就能达到同等效果,且表现更稳定,为AI训练开辟了全新路径。
微软发布新版Copilot人工智能助手,支持最多32人同时参与聊天会话的Groups功能,并新增连接器可访问OneDrive、Outlook、Gmail等多项服务。助手记忆功能得到增强,可保存用户信息供未来使用。界面新增名为Mico的AI角色,并提供"真实对话"模式生成更机智回应。医疗研究功能也得到改进,可基于哈佛健康等可靠来源提供答案。同时推出内置于Edge浏览器的Copilot Actions功能,可自动执行退订邮件、预订餐厅等任务。
纽约大学等机构联合开发的ThermalGen系统能够将普通彩色照片智能转换为对应的热成像图片,解决了热成像数据稀缺昂贵的难题。该系统采用创新的流匹配生成模型和风格解耦机制,能适应从卫星到地面的多种拍摄场景,在各类测试中表现优异。研究团队还贡献了三个大规模新数据集,并计划开源全部技术资源,为搜救、建筑检测、自动驾驶等领域提供强有力的技术支撑。