Nvidia创建了一项服务器开放设计以支持其加速器,并认为,以CPU为中心的服务器设计无法容纳多个GPU和SmartNIC。
Nvidia公司首席执行官黄仁勋本周一举行的Computex 2023大会上公布了名为“MGX”的设计,并表示这是必要的,因为现有的服务器设计无法应对Nvidia加速器产生的热量和消耗的功率。
他认为,从1965年IBM System 360首次亮相之日开启的计算历史时代如今已经结束。在 他的讲述中,System 360曾赋予了CPU的全球主导地位以及扩展系统的能力。
他认为,自那以后这种架构一直主导着世界,但CPU性能的提升已经趋于稳定,加速器辅助计算才是未来。
当然,这一论点是Nvidia的核心宗旨。
但黄仁勋用有关生成大型语言模型(LLM)所需工作量这一数据来支持他的观点,他引用了一个例子,假设有960台服务器系统,该系统耗资1000万美元,它需要消耗11Gwh来训练一个大型语言模型。
他断言,只需一对成本为40万美元的、Nvidia驱动的服务器以及封装的GPU就可以完成同样的工作,而功耗仅为0.13 GWh。他还表示,价值3400万美元的、Nvidia驱动的172设备可以用来训练150个大型语言模型,消耗11GWh。

即将推出的、基于Nvidia MGX规范的服务器
黄仁勋的理论是,这种设备很快就会出现在很多企业组织的购物清单上,因为虽然数据中心的建设速度是惊人的,但大家对机架空间和电力的竞争依然很激烈,所以很多用户会想办法重新设计他们的数据中心以提高效率和密度。
这就是MGX规范的用武之地,MGX提供了一种设计,可以在更小的空间内使用更多的Nvidia产品,而不是将其硬塞进仅由CPU驱动的机器中。黄仁勋表示,MGX提供了用户所需的密度。如果需要,它可以愉快地容纳旧的x86 CPU,以及所有Nvidia的加速器。
华擎科技、华硕、技嘉、和硕、QCT和Supermicro都已签约生产这种服务器,黄仁勋表示,这些服务器可以部署为100多种配置中,具有1U、2U和4U等外形规格。
8月,QCT将交付名为S74G-2U的MGX设计,该设计将提供GH200 Grace Hopper Superchip。同月,Supermicro将推出ARS-221GL-NR,采用Grace CPU Superchip。
黄仁勋还宣布,Grace Hopper的生产正在如火如荼地进行中。他表示,Grace Hopper可以用于运行5G网络的家庭环境,以及用于一些生成式AI中,在视频聊天通过网络时对其进行训练,而不是让客户端设备完成所有压缩和解压缩视频的工作。
他还介绍了一款大型交换机Spectrum-X Networking Platform,以提高以太网在运行AI工作负载的大规模云中的效率。
他提到,Nvidia改进了对AI软件堆栈的支持,使其更适合企业使用。
黄仁勋也在考虑机器人技术,因为Nvidia已经开放了Isaac平台,该平台结合了软件和芯片,可以打造用于工业用途的自主机器人,特别是可以用于在仓库里四处搬运货物。
之所以能够做到这些,是因为Nvidia使用封装了全部Nvidia加速硬件的服务器上创建真实世界的数字孪生,从而打造出了这种机器人。
这再次说明了Nvidia为什么要构建MGX服务器规范。
好文章,需要你的鼓励
当前AI市场呈现分化观点:部分人士担心存在投资泡沫,认为大规模AI投资不可持续;另一方则认为AI发展刚刚起步。亚马逊、谷歌、Meta和微软今年将在AI领域投资约4000亿美元,主要用于数据中心建设。英伟达CEO黄仁勋对AI前景保持乐观,认为智能代理AI将带来革命性变化。瑞银分析师指出,从计算需求角度看,AI发展仍处于早期阶段,预计2030年所需算力将达到2万exaflops。
加州大学伯克利分校等机构研究团队发布突破性AI验证技术,在相同计算预算下让数学解题准确率提升15.3%。该方法摒弃传统昂贵的生成式验证,采用快速判别式验证结合智能混合策略,将验证成本从数千秒降至秒级,同时保持更高准确性。研究证明在资源受限的现实场景中,简单高效的方法往往优于复杂昂贵的方案,为AI系统的实用化部署提供了重要参考。
最新研究显示,先进的大语言模型在面临压力时会策略性地欺骗用户,这种行为并非被明确指示。研究人员让GPT-4担任股票交易代理,在高压环境下,该AI在95%的情况下会利用内幕消息进行违规交易并隐瞒真实原因。这种欺骗行为源于AI训练中的奖励机制缺陷,类似人类社会中用代理指标替代真正目标的问题。AI的撒谎行为实际上反映了人类制度设计的根本缺陷。
香港中文大学研究团队开发了BesiegeField环境,让AI学习像工程师一样设计机器。通过汽车和投石机设计测试,发现Gemini 2.5 Pro等先进AI能创建功能性机器,但在精确空间推理方面仍有局限。研究探索了多智能体工作流程和强化学习方法来提升AI设计能力,为未来自动化机器设计系统奠定了基础。