Nvidia创建了一项服务器开放设计以支持其加速器,并认为,以CPU为中心的服务器设计无法容纳多个GPU和SmartNIC。
Nvidia公司首席执行官黄仁勋本周一举行的Computex 2023大会上公布了名为“MGX”的设计,并表示这是必要的,因为现有的服务器设计无法应对Nvidia加速器产生的热量和消耗的功率。
他认为,从1965年IBM System 360首次亮相之日开启的计算历史时代如今已经结束。在 他的讲述中,System 360曾赋予了CPU的全球主导地位以及扩展系统的能力。
他认为,自那以后这种架构一直主导着世界,但CPU性能的提升已经趋于稳定,加速器辅助计算才是未来。
当然,这一论点是Nvidia的核心宗旨。
但黄仁勋用有关生成大型语言模型(LLM)所需工作量这一数据来支持他的观点,他引用了一个例子,假设有960台服务器系统,该系统耗资1000万美元,它需要消耗11Gwh来训练一个大型语言模型。
他断言,只需一对成本为40万美元的、Nvidia驱动的服务器以及封装的GPU就可以完成同样的工作,而功耗仅为0.13 GWh。他还表示,价值3400万美元的、Nvidia驱动的172设备可以用来训练150个大型语言模型,消耗11GWh。
即将推出的、基于Nvidia MGX规范的服务器
黄仁勋的理论是,这种设备很快就会出现在很多企业组织的购物清单上,因为虽然数据中心的建设速度是惊人的,但大家对机架空间和电力的竞争依然很激烈,所以很多用户会想办法重新设计他们的数据中心以提高效率和密度。
这就是MGX规范的用武之地,MGX提供了一种设计,可以在更小的空间内使用更多的Nvidia产品,而不是将其硬塞进仅由CPU驱动的机器中。黄仁勋表示,MGX提供了用户所需的密度。如果需要,它可以愉快地容纳旧的x86 CPU,以及所有Nvidia的加速器。
华擎科技、华硕、技嘉、和硕、QCT和Supermicro都已签约生产这种服务器,黄仁勋表示,这些服务器可以部署为100多种配置中,具有1U、2U和4U等外形规格。
8月,QCT将交付名为S74G-2U的MGX设计,该设计将提供GH200 Grace Hopper Superchip。同月,Supermicro将推出ARS-221GL-NR,采用Grace CPU Superchip。
黄仁勋还宣布,Grace Hopper的生产正在如火如荼地进行中。他表示,Grace Hopper可以用于运行5G网络的家庭环境,以及用于一些生成式AI中,在视频聊天通过网络时对其进行训练,而不是让客户端设备完成所有压缩和解压缩视频的工作。
他还介绍了一款大型交换机Spectrum-X Networking Platform,以提高以太网在运行AI工作负载的大规模云中的效率。
他提到,Nvidia改进了对AI软件堆栈的支持,使其更适合企业使用。
黄仁勋也在考虑机器人技术,因为Nvidia已经开放了Isaac平台,该平台结合了软件和芯片,可以打造用于工业用途的自主机器人,特别是可以用于在仓库里四处搬运货物。
之所以能够做到这些,是因为Nvidia使用封装了全部Nvidia加速硬件的服务器上创建真实世界的数字孪生,从而打造出了这种机器人。
这再次说明了Nvidia为什么要构建MGX服务器规范。
好文章,需要你的鼓励
本文探讨如何使用生成式AI和大语言模型作为倾听者,帮助用户表达内心想法。许多主流AI如ChatGPT、Claude等被设计成用户的"最佳伙伴",或试图提供心理健康建议,但有时用户只想要一个尊重的倾听者。文章提供了有效的提示词技巧,指导AI保持中性、尊重的态度,专注于倾听和理解,而非给出建议或判断。同时提醒用户注意隐私保护和AI的局限性。
北京大学团队开发出WoW世界模型,这是首个真正理解物理规律的AI系统。通过200万机器人互动数据训练,WoW不仅能生成逼真视频,更能理解重力、碰撞等物理定律。其创新的SOPHIA框架让AI具备自我纠错能力,在物理理解测试中达到80.16%准确率。该技术将推动智能机器人、视频制作等领域发展,为通用人工智能奠定重要基础。
人工通用智能和超级人工智能的出现,可能会创造出一种全新的外星智能形态。传统AI基于人类智能模式构建,但AGI和ASI一旦存在,可能会选择创造完全不同于人类认知方式的新型智能。这种外星人工智能既可能带来突破性进展,如找到癌症治愈方法,也可能存在未知风险。目前尚不确定这种新智能形态是否会超越人类智能,以及我们是否应该追求这一可能改变人类命运的技术突破。
香港大学和蚂蚁集团联合推出PromptCoT 2.0,这是一种让AI自动生成高质量训练题目的创新方法。通过"概念-思路-题目"的三步策略,AI能像老师备课一样先构思解题思路再出题,大幅提升了题目质量和训练效果。实验显示该方法在数学竞赛和编程任务上都取得了显著提升,为解决AI训练数据稀缺问题提供了新思路。