Nvidia今天宣布,将与微软共同合作打造一台为运行人工智能软件而优化的超级计算机。

两家厂商,该系统将成为全球最强大的人工智能超级计算机之一,将在微软Azure公有云平台中实施。
Nvidia公司企业计算副总裁Manuvir Das表示:“人工智能技术的进步和行业普及正在加速。基础模型的突破引发了一股研究浪潮,培育了新的创业公司并孕育了一批新的企业应用。我们与微软的合作将为研究人员和企业提供最先进的人工智能基础设施和软件,以发挥人工智能的变革力量。”
在此次合作中,微软将为Azure配备数万个Nvidia GPU。GPU因其能够加速人工智能和科学应用而被广泛用于超级计算机中。除了GPU之外,微软还将部署其他几项来自Nvidia的技术,包括Nvidia的Quantum-2系列网络交换机。
目前Azure公有云中已经包含了大量来自Nvidia的GPU。Azure客户可以访问由Nvidia A100芯片提供支持的多个计算实例,A100是Nvidia在2020年推出的旗舰数据中心GPU。在此次合作中,微软将推出由Nvidia当前最新旗舰数据中心GPU——H100芯片——提供支持的Azure云实例。
H100是Nvidia在今年3月推出的,具有800亿个晶体管,训练AI模型的速度比Nvidia上一代A100快6倍。H100还包括了优化的功能,使其能够更有效地运行Transformer模型,一种广泛用于自然语言处理等任务的高级神经网络。
微软计划推出的基于H100的Azure实例将使用Nvidia Quantum-2 InfiniBand交换机系列来管理网络流量,这些交换机每个网络端口每秒可以处理400 GB的流量,是Nvidia上一代硬件的2倍。
软件也是此次Nvidia与微软合作的重点,两家厂商将在Azure中更轻松地访问各自的AI开发工具。
微软提供了一款名为DeepSpeed的开源工具包,让开发者可以用来降低中立网络对基础设施的要求。据微软称,该工具包可以减少训练和运行神经网络所需的硬件。微软和Nvidia将优化DeepSpeed使其可以运行在Nvidia H100 GPU上。
优化工作将侧重于帮助开发者加速那些采用Transformer神经网络架构的AI模型。速度上的提升将得益于Nvidia H100 GPU内置的Transformer Engine功能,该功能通过减少完成计算所必须处理的数据量来加速神经网络。
Nvidia也提供了一个名为Nvidia AI Enterprise的软件平台,以帮助企业更轻松地在Nvidia芯片上运行AI应用。该平台减少了构建、部署和管理神经网络所需的手动工作量,此外还包括一组针对生成购物推荐等任务优化的预配置神经网络。
在早期合作中,Nvidia认证了Nvidia Enterprise AI使其可以运行在由A100芯片提供支持的微软Azure实例上。两家厂商现在将联手在微软即将推出的基于H100的Azure实例上支持Nvidia Enterprise AI。
微软Cloud + AI事业部执行副总裁Scott Guthrie表示:“我们与Nvidia的合作开启了全球最具扩展性的超级计算机平台,该平台为微软Azure上的每个企业提供了最先进的AI功能。”
在此次合作中,Nvidia计划扩大对Azure的使用。Nvidia将使用Azure实例来支持自己在生成AI领域的研究工作,生成式AI是一种高级神经网络,可以执行生成文本、视频和软件代码等任务。
Nvidia已经在该领域进行了大量投入。去年10月,Nvidia推出了MT-NLG,一种生成式AI系统,当时号称是同类产品中最强大的。MT-NLG具有5300亿个参数,这些配置设置决定了神经网络处理数据的方式。
好文章,需要你的鼓励
科技泡沫并非世界末日,从经济角度看,泡沫是押注过大导致供过于求。AI泡沫问题复杂在于AI软件开发节奏与数据中心建设周期的时间错配。甲骨文关联数据中心获180亿美元信贷,Meta承诺三年内投入6000亿美元基础设施。麦肯锡调查显示企业虽广泛使用AI但规模有限,多数仍持观望态度。微软CEO表示更担心数据中心空间不足而非芯片短缺,电力需求成为新瓶颈。
Salesforce AI研究团队构建了首个大规模多模态文档RAG评测基准UniDoc-Bench,包含7万页真实PDF文档和1600个问答对,覆盖8个领域。研究发现文本图像融合检索策略显著优于单一模态和联合多模态方法,为未来AI文档理解系统提供了"分工合作"的设计思路。
Goodfire.ai研究人员首次发现AI语言模型中记忆和推理功能通过完全独立的神经通路运作。研究显示,移除记忆通路后,模型丧失97%的训练数据复述能力,但逻辑推理能力几乎完全保留。令人意外的是,算术运算与记忆共享神经通路而非推理通路,这可能解释了AI模型在数学方面的困难。该技术未来有望用于移除版权内容或敏感信息而不损害模型核心功能。
腾讯研究团队发现AI训练中"推理火花"现象,揭示低概率词汇如"等等"、"不过"等在维持AI探索能力中的关键作用。团队开发的低概率正则化方法通过精准保护有价值的低概率词汇,在数学推理任务中实现60.17%准确率,比传统方法提升2.66%,为AI创造性思维研究开辟新路径。