微软正式宣布推出全新Maia 200芯片,这款芯片被定义为专门用于扩展AI推理能力的硅基工作马。
Maia 200是微软继2023年发布Maia 100后的最新产品,在技术配置上进行了全面升级,旨在以更快速度和更高效率运行强大的AI模型。该芯片集成了超过1000亿个晶体管,在4位精度下可提供超过10 PetaFLOPS的算力,在8位性能下约为5 PetaFLOPS,相比前代产品实现了大幅提升。
推理是指运行模型的计算过程,区别于训练模型所需的计算。随着AI公司的成熟发展,推理成本已成为其整体运营成本中日益重要的组成部分,这促使业界重新关注优化推理过程的方法。
微软希望Maia 200能够成为这种优化的重要组成部分,帮助AI企业以更少的中断和更低的功耗运行业务。微软表示:"从实际角度来看,一个Maia 200节点可以轻松运行当今最大的模型,并为未来更大的模型留有充足空间。"
微软的新芯片也体现了科技巨头转向自主设计芯片的增长趋势,目的是减少对英伟达的依赖。英伟达的尖端GPU已成为AI公司成功的关键因素。例如,谷歌拥有TPU(张量处理单元),这些单元不是作为芯片销售,而是通过其云服务提供计算能力。亚马逊则推出了自己的AI加速芯片Amazon Trainium,并在12月份发布了最新版本Trainium3。在每种情况下,这些处理器都可以分担原本分配给英伟达GPU的部分计算任务,从而降低整体硬件成本。
通过Maia芯片,微软正将自己定位为与这些替代方案竞争的有力选手。在周一的新闻稿中,微软指出Maia在FP4性能方面是第三代Amazon Trainium芯片的3倍,FP8性能超过了谷歌第七代TPU。
微软表示,Maia已经在为公司超级智能团队的AI模型提供动力支持,同时也在支持聊天机器人Copilot的运营。截至周一,公司已邀请包括开发者、学术界和前沿AI实验室在内的各方使用其Maia 200软件开发套件进行工作负载处理。
Q&A
Q1:Maia 200芯片有什么特别之处?
A:Maia 200是微软专为AI推理设计的芯片,集成超过1000亿个晶体管,在4位精度下可提供超过10 PetaFLOPS算力,在8位性能下约为5 PetaFLOPS,相比前代产品有大幅提升。一个节点就能轻松运行当今最大的AI模型。
Q2:为什么科技公司要自主设计芯片?
A:主要是为了减少对英伟达GPU的依赖,降低整体硬件成本。谷歌有TPU,亚马逊有Trainium,现在微软推出Maia,都是为了在AI推理方面提供更经济高效的替代方案。
Q3:Maia 200目前在哪些方面得到应用?
A:Maia 200已经在为微软超级智能团队的AI模型提供算力支持,同时支持聊天机器人Copilot的运营。微软还向开发者、学术界和前沿AI实验室开放了Maia 200软件开发套件。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。