说到大模型,算力稀缺是不可回避的问题。当大家都在抢购英伟达的GPU的时候,在缺货的等待期,我们不妨尝试其他产品。
就在今天MLCommons刚刚公布的MLPerf推理v3.1性能基准测试结果显示,英特尔Habana Gaudi2加速器、第四代英特尔至强可扩展处理器,以及英特尔至强CPU Max在AI推理方面表现出色。
我们看下具体的成绩:
用于测试的是60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J。Habana Gaudi2在GPT-J模型上的推理结果强有力地验证了其具有竞争力的性能。
英特尔提交了基于第四代英特尔至强可扩展处理器的7个推理基准测试,其中包括GPT-J模型。对于GPT-J对约1000-1500字新闻稿进行100字总结的任务,第四代至强可扩展处理器可在离线模式下完成每秒两段的总结提要,在实时服务器模式下完成每秒一段的总结提要。
英特尔首次提交了英特尔至强CPU Max系列的MLPerf 结果,该系列可提供高达64GB的高带宽内存。对于GPT-J而言,它是仅有的能够达到99.9%准确度的CPU,这对于对精度要求极高的应用来说至关重要。
除了这次AI推理的测试结构,根据6月披露的MLCommons AI训练结果和Hugging Face性能基准测试验证,Gaudi2在先进的视觉语言模型上,性能可以超越英伟达的H100处理器。
所以,从测试成绩看,Gaudi2与至强可扩展处理器完全可以用于深度学习推理及训练,加速人工智能模型。
其实Gaudi2与至强可扩展处理器之所以能够取得如此的成绩,主要是还是产品针对人工智能工作负载进行优化。比如Gaudi2集成了24个可编程Tensor处理器核心(TPCs),配置21个Gbps以太网接口,内存和缓存提高到96GB HBM2e和48MB SRAM,内存带宽升为2.4TB/s等。
在测试GPT-3时,Gaudi 2表现出了强劲性能,在384个加速器上训练时间达311分钟,从256个加速器到384个加速器实现了近线性95%的扩展。这使得Gaudi 2是除了英伟达产品外,唯一能把MLPerf GPT 3.0模型跑起来的芯片。
Gaudi 2作为一款专用AI加速芯片,相比英伟达的通用GPU A100和H100,其服务器成本更低,价格优势也更为明显。
第四代英特尔至强可扩展处理器最重要的特性之一,是新的AMX人工智能加速引擎,与上一代相比,它可以提供高达10倍的人工智能推理和训练性能提升,支持大多数大型AI模型,包括实时、中等吞吐量、低延迟稀疏推理,以及中、小型规模的训练和边缘推理。
MLPerf是业内享有盛名的AI性能基准测试,旨在实现公平、可重复的产品性能比较。这有助于企业基于测试成绩进行采购指南。
好文章,需要你的鼓励
Carma Technology 针对 Uber 提起专利侵权诉讼,称其侵犯了涉及拼车系统的五项专利。案情回溯至十年前,凸显专利保护对创新者的重要性,可能对 Uber 及其他公司带来巨大影响。
这项研究展示了如何通过在经济问题上进行后训练,让大语言模型像经济学家一样思考,从而实现战略性泛化能力。研究团队开发了名为Recon的7B参数开源模型,通过在2,100个高质量经济推理问题上进行监督微调和强化学习,不仅提升了模型在经济基准测试上的表现,更重要的是让模型在从未直接训练过的多智能体博弈中展现出合理的战略行为。结果表明,领域对齐的后训练可以作为智能体对齐的可扩展路径,通过结构化推理问题培养出更广泛适用的理性决策能力。
经过暂停战略调整,Automattic 宣布重返 WordPress 开发,包括核心、Gutenberg、Playground 等模块,计划今年推出 6.9 版本,并涉及与 WP Engine 的法律争端。
STORM框架是一种创新的对话系统研究方法,通过模拟用户和AI助手之间的信息不对称来解决意图触发性问题。研究发现中等程度的不确定性(40-60%未知信息)在某些情况下能够优于完全透明,挑战了传统的AI设计假设。通过对四种主流语言模型的测试,团队确定了不同模型在处理用户意图形成过程中的独特特点,为任务导向对话系统设计提供了实用指导。这项研究对隐私保护设计和偏见缓解具有重要启示,表明信息的战略性限制可能比信息最大化更有效。