戴尔将推出一系列包括新服务器在内的基础设施产品,有望帮助企业更有效地训练和运行人工智能模型。
戴尔在近日Nvidia备受关注的GTC开发者大会上发布了这些产品。据戴尔称,这些新服务器产品和Nvidia首席执行官黄仁勋在活动中推出的B200 Tensor Core图形卡是兼容的。除了这些服务器之外,戴尔还将推出数据湖平台,升级存储产品组合,以及一系列其他产品更新。
theCUBE Research联合创始人、首席分析师Dave Vellante表示:“各个组织都在急于尝试AI,但实现投资回报率方面却面临着很多挑战,数据主权、法律和合规、数据质量都是首要考虑的问题,我们的研究表明,企业正在寻求戴尔和NVIDIA等行业领导者的帮助,以帮助提供AI的专业知识和服务,降低风险,更快地获得投资回报。”
推理优化的计算
戴尔已经开始向客户提供的PowerEdge XE9680服务器将配备Nvidia最新的B200 Tensor Core GPU,该芯片预计将执行推理任务,即在生产中运行经过训练的AI模型,速度比上一代芯片快15倍,而且更具成本效益。
B200是基于Nvidia Blackwell新型GPU架构的。据戴尔称,PowerEdge XE9680服务器还支持其他基于Blackwell的芯片以及H200 Tensor Core,后者将于11月推出,是H100的增强版,专门针对运行大型语言模型进行了优化。
在网络方面,戴尔的新服务器将搭配使用Nvidia Quantum-2和Spectrum-X交换机系列,分别针对使用InfiniBand和以太网数据传输协议的网络而构建。这两个交换机系列都包含了一系列软件功能,旨在降低延迟并减少拥塞连接对数据传输速度的影响。
数据存储和管理
PowerScale是戴尔的一个NAS产品线,针对运行AI模型等用例进行了优化。该系统将数据保存在采用横向扩展架构的闪存驱动器中,这使得在需要时添加更多容量变得相对简单一些。戴尔的OneFS存储操作系统主要用于管理容量扩展过程以及相关的维护任务。
据戴尔称,PowerScale系列现在已经成为第一批经过验证可与基于DGX H100的SuperPOD一起使用的以太网存储系统。DGX H100是Nvidia的一款数据中心设备,配备了8个H100 GPU。反过来,SuperPOD是DGX设备的集群。
戴尔表示,此次在GTC大会上详细介绍的产品更新不仅使数据存储变得更加容易,而且还让数据管理变得更加轻松。在推出新服务器的同时,戴尔还宣布Dell Data Lakehouse平台现已在全球上市,该产品让组织能够集中处理来自不同来源的信息。
企业以前主要采用两种类型的数据管理平台。数据仓库高度可靠,非常适合处理结构化记录,而数据湖能以经济高效的方式保存大量非结构化信息。而此次戴尔新推出的平台中,数据湖平台是将这两种技术的功能集结合在了一个产品中。
集成平台
戴尔还在GTC大会上推出了产品组合中的其他几款产品,每项新产品都将戴尔硬件产品组合的多个组件与软件、专业服务与Nvidia芯片进行了结合。
首先是Dell AI Factory,这是一套用于训练、调整和运行AI模型的“端到端AI企业解决方案”,它将Nvidia芯片与戴尔的计算、存储、客户端设备、软件产品组合以及专业服务相结合,这些服务有望简化准备AI数据集等任务。
其次是Dell Generative AI Solutions with NVIDIA – Model Training基础设施平台。据戴尔称,该平台可以帮助企业更轻松地训练针对特定领域任务优化的定制AI模型。第三款新产品是Dell Generative AI Solutions with NVIDIA – Retrieval-Augmented Generation,主要面向那些正在构建具有RAG功能的AI模型的企业。
Nvidia公司首席执行官黄仁勋表示:“NVIDIA和戴尔正在共同帮助企业打造AI工厂,将他们专有的数据转化为强大的洞察力。”
AI加速器产生的热量比典型CPU要多得多。戴尔详细介绍说,戴尔正在与Nvidia合作开发基于Nvidia Grace Blackwell Superchip的机架级液冷AI平台。用于数据中心冷却的水和其他液体相比空气能够更好地导热,因此在调节服务器温度方面也更加有效。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。