Nvidia今天宣布更新Nvidia Hopper加速计算系统阵容,采用Nvidia自己的H100 Tensor Core GPU以及英特尔今天推出的第四代英特尔至强可扩展处理器。
此外,Nvidia的数十家合作伙伴已经宣布推出了他们自己基于这一新硬件组合的服务器系统,Nvidia表示。这些系统的效率要比上一代高出25倍。
Nvidia解释说,英特尔此次推出的新CPU将与Nvidia的GPU结合在新一代Nvidia DGX H100系统中。英特尔第四代Intel Xeon可扩展处理器、Intel Xeon CPU Max系列和英特尔Data Center GPU Max系列于今天发布。英特尔表示,这些处理器在数据中心性能和效率方面实现了重大飞跃,为云、网络和边缘人工智能、以及全球最强大的超级计算机提供了增强的安全性和新功能。
这些CPU提供了工作负载优先的加速和针对特定工作负载调整的高度优化的软件,使用户能够以合适的功率实现合适的性能,以优化总拥有成本。此外,第四代至强处理器可以为客户提供一系列用于管理电源和性能的功能,从而优化利用CPU资源,帮助实现他们的可持续发展目标。
英特尔第四代至强可扩展处理器的一项关键新功能是支持PCIe Gen 5,能够将CPU到GPU的数据传输速率提高一倍,增加的PCIe通道可实现更高密度的GPU和每台服务器内的高速网络。此外,英特尔还提高了人工智能等数据密集型工作负载的性能,同时将网络速度提高到每个连接每秒400 Gb,这意味着服务器和存储阵列之间的数据传输速度会更快。
Nvidia表示,在新的DGX系统中,英特尔的CPU将与8个Nvidia H100 GPU结合使用。Nvidia H100 GPU是Nvidia迄今为止最强大的芯片,包含了800多亿个晶体管,是英特尔新芯片的理想搭档。这些GPU有一系列独特的功能,使其成为高性能计算工作负载的理想选择,包括内置的Transformer Engine和高度可扩展的NVLink互连,使其能够为大型人工智能模型、推荐系统等提供支持。
Constellation Research分析师Holger Mueller表示:“现代人工智能工作负载需要混合使用CPU和GPU计算平台。而且人工智能还取决于处理数据的速度,因此新的DGX设备使用PCIe Gen5是有道理的。现在一切都要看第一批客户和他们的用途。”
Moor Insights & Strategy分析师Patrick Moorhead表示,他对Nvidia最新的DGX系统印象深刻,但他指出,这并不是第一款支持PCIe 5的系统,AMD最新的处理器也具有该功能。他补充说:“我不认为PCIe 5是决定性因素,我认为这可能要归结为降低价格,因为我听说英特尔最近正在提供大幅折扣。”
将有60多款新服务器采用Nvidia DGX H100系统,这些结合了Nvidia GPU和英特尔CPU的服务器来自华硕、源讯、思科、戴尔、富士通、技嘉、HPE、联想、广达和超微。
Nvidia和众多厂商即将推出的这些系统,将利用最新的GPU和CPU硬件来运行工作负载,其效率是传统的纯CPU服务器的25倍。Nvidia声称,这些系统提供了“令人难以置信的每瓦性能”,从而大大降低了功耗。此外,与上一代Nvidia DGX系统相比,最新的硬件将AI训练和推理工作负载的效率提高了3.5倍,从而使拥有成本降低了约3倍。
支持Nvidia新系统的软件也派上了用场。新的DGX H100系统都附带了Nvidia Enterprise AI的免费许可,这是一套人工智能开发工具和部署软件的云原生套件,为用户提供了一个完整的人工智能计划平台。
Nvidia表示,客户可以以Nvidia DGX SuperPod平台的形式购买多个DGX H100系统,该平台本质上是一个小型超级计算平台,可提供高达exaflop级的AI性能。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。