戴尔将推出一系列包括新服务器在内的基础设施产品,有望帮助企业更有效地训练和运行人工智能模型。
戴尔在近日Nvidia备受关注的GTC开发者大会上发布了这些产品。据戴尔称,这些新服务器产品和Nvidia首席执行官黄仁勋在活动中推出的B200 Tensor Core图形卡是兼容的。除了这些服务器之外,戴尔还将推出数据湖平台,升级存储产品组合,以及一系列其他产品更新。
theCUBE Research联合创始人、首席分析师Dave Vellante表示:“各个组织都在急于尝试AI,但实现投资回报率方面却面临着很多挑战,数据主权、法律和合规、数据质量都是首要考虑的问题,我们的研究表明,企业正在寻求戴尔和NVIDIA等行业领导者的帮助,以帮助提供AI的专业知识和服务,降低风险,更快地获得投资回报。”
推理优化的计算
戴尔已经开始向客户提供的PowerEdge XE9680服务器将配备Nvidia最新的B200 Tensor Core GPU,该芯片预计将执行推理任务,即在生产中运行经过训练的AI模型,速度比上一代芯片快15倍,而且更具成本效益。
B200是基于Nvidia Blackwell新型GPU架构的。据戴尔称,PowerEdge XE9680服务器还支持其他基于Blackwell的芯片以及H200 Tensor Core,后者将于11月推出,是H100的增强版,专门针对运行大型语言模型进行了优化。
在网络方面,戴尔的新服务器将搭配使用Nvidia Quantum-2和Spectrum-X交换机系列,分别针对使用InfiniBand和以太网数据传输协议的网络而构建。这两个交换机系列都包含了一系列软件功能,旨在降低延迟并减少拥塞连接对数据传输速度的影响。
数据存储和管理
PowerScale是戴尔的一个NAS产品线,针对运行AI模型等用例进行了优化。该系统将数据保存在采用横向扩展架构的闪存驱动器中,这使得在需要时添加更多容量变得相对简单一些。戴尔的OneFS存储操作系统主要用于管理容量扩展过程以及相关的维护任务。
据戴尔称,PowerScale系列现在已经成为第一批经过验证可与基于DGX H100的SuperPOD一起使用的以太网存储系统。DGX H100是Nvidia的一款数据中心设备,配备了8个H100 GPU。反过来,SuperPOD是DGX设备的集群。
戴尔表示,此次在GTC大会上详细介绍的产品更新不仅使数据存储变得更加容易,而且还让数据管理变得更加轻松。在推出新服务器的同时,戴尔还宣布Dell Data Lakehouse平台现已在全球上市,该产品让组织能够集中处理来自不同来源的信息。
企业以前主要采用两种类型的数据管理平台。数据仓库高度可靠,非常适合处理结构化记录,而数据湖能以经济高效的方式保存大量非结构化信息。而此次戴尔新推出的平台中,数据湖平台是将这两种技术的功能集结合在了一个产品中。
集成平台
戴尔还在GTC大会上推出了产品组合中的其他几款产品,每项新产品都将戴尔硬件产品组合的多个组件与软件、专业服务与Nvidia芯片进行了结合。
首先是Dell AI Factory,这是一套用于训练、调整和运行AI模型的“端到端AI企业解决方案”,它将Nvidia芯片与戴尔的计算、存储、客户端设备、软件产品组合以及专业服务相结合,这些服务有望简化准备AI数据集等任务。
其次是Dell Generative AI Solutions with NVIDIA – Model Training基础设施平台。据戴尔称,该平台可以帮助企业更轻松地训练针对特定领域任务优化的定制AI模型。第三款新产品是Dell Generative AI Solutions with NVIDIA – Retrieval-Augmented Generation,主要面向那些正在构建具有RAG功能的AI模型的企业。
Nvidia公司首席执行官黄仁勋表示:“NVIDIA和戴尔正在共同帮助企业打造AI工厂,将他们专有的数据转化为强大的洞察力。”
AI加速器产生的热量比典型CPU要多得多。戴尔详细介绍说,戴尔正在与Nvidia合作开发基于Nvidia Grace Blackwell Superchip的机架级液冷AI平台。用于数据中心冷却的水和其他液体相比空气能够更好地导热,因此在调节服务器温度方面也更加有效。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。