为了更好地帮助企业落地人工智能,近日戴尔科技、技嘉、慧与、浪潮和超微等顶尖OEM厂商发布全球首批用于数据中心的处理AI工作负载的NVIDIA认证系统,这种新型加速服务器是目前业内唯一通过现代工作负载测试的服务器。
得益于使用NVIDIA Mellanox网络连接的NVIDIA最新GPU,这些系统能够为AI提速。它们能够加快机器学习的速度,从不断增长的企业数据堆中挖掘洞察,推动AI和数据分析的发展。
这些产品都带有NVIDIA认证系统标识,向客户证明了其所购买的系统符合NVIDIA最佳设计范例。同时,也代表这些系统可以处理机器学习、数据分析等领域最棘手的任务。
AI行业普及需要现代化IT基础设施
当前AI无处不在,企业对AI领域日益关注。根据Gartner,目前37%的企业机构在生产中使用了AI,预计到2024年这一比例将翻倍至75%。AI正在向零售、物流、银行和医疗健康等行业普及,给业务转型提供驱动力。AI应用将是数字经济商业模式的发展的必然结果,如果一个企业的业务形态是靠数据和算法在线提供服务,那么它一定需要应用AI技术成为未来业务发展的引擎。
例如美国运通正在使用最新的AI模型进行实时欺诈检测,福特使用生成式对抗网络生成测试自动驾驶汽车所需的数据,达美乐使用AI改进其每年30亿份披萨订单完成时间的预测。而在中国,以阿里巴巴的人工智能客服为例,十年来平台订单数增加了几十倍。但是客服团队的人员并没有增加多少,增加的任务量都被AI客服所消化掉,天猫“双11”中AI解决了95%客服问题。
在AI越来越对业务产生越来越重要的背景下,企业需要更加强有力的IT基础设施来支撑AI工作服务。毋庸置疑,我们处于数据大爆炸的时代,比如沃尔玛每小时要处理超过2.5PB的数据。企业需要从不断增加的数据中获得战略洞察,筛选这些数据的AI模型规模增长了近3万倍,这直接推动了对加速计算的需求。同时,使用这些数据的模型和工作负载的多样性也在不断扩大。
此外,日益增加的数据量和不断扩大的AI数据筛选模型,导致数据中心和网络边缘的网络流量呈指数级增长。为了解决这一问题,企业需要一个安全、可靠、高速并且能够有效扩展的IT基础设施来承载AI工作负载。
NVIDIA认证系统应运而生
为了满足企业构建现代化IT基础设施的需求,NVIDIA认证系统提供企业AI所需的性能、可编程性和安全吞吐量。目前全球最大的云服务提供商和全球十大超级计算机中的八台均由NVIDIA技术驱动。而通过NVIDIA认证系统,每家公司都能使用全球最强大AI计算机背后相同的硬件和软件。
在硬件层面,NVIDIA认证系统包括功能强大的数据中心服务器,这些系统结合了基于NVIDIA Ampere架构的GPU计算力与安全、高速的NVIDIA Mellanox网络。该服务器内置多达8个A100 GPU和高速InfiniBand或以太网网卡。此外,还有为在企业网络边缘运行AI而量身定制的主流AI系统。
OEM厂商对使用NVIDIA Mellanox电缆、交换机和网卡(如ConnectX-6 InfiniBand或以太网网卡和BlueField-2 DPU)的系统进行认证。除了能够同时保证低延迟与高吞吐量外,这些网卡还支持从启动时的硬件信任根,到应用连接追踪等多层网络安全措施。所有使用NVIDIA Mellanox 8700 HDR 200G InfiniBand交换机或Mellanox SN3700以太网交换机的系统均已获得认证。
在软件层面,所有NVIDIA认证系统均可提供涵盖整个软件堆栈的企业级支持,包括对开源代码的支持。这些系统可以运行NVIDIA GPU优化应用中心——NGC目录中的AI应用。NGC是一个不断扩大的软件开发套件中心,这些套件可以将AI引入医疗健康(Clara)和机器人(Isaac)等垂直市场。此外,它还包含帮助企业在推荐系统(Merlin)和智能视频分析(Metropolis)等新兴用例中起步的框架。
我们知道采用NVIDIA技术的系统在MLPerf等AI基准测试中处于领先地位,为企业进行产品选型提供了参考标准。为了通过相关认证,NVIDIA认证系统必须接受广泛的工作负载测试,涵盖从需要多个计算节点的工作到只需要使用单个GPU部分性能的任务等。具体而言,NVIDIA认证系统必须通过以下测试:深度学习训练和推理、机器学习算法、智能视频分析、网络和存储卸载。这些测试基于现实世界中的用例,使用的是NGC目录中常用的AI框架和容器。
截至目前,至少有11家系统制造商的近70个系统参与了这一认证计划,来自6家系统制造商的14台服务器已通过认证,以提供AI加速计算。首批使用NVIDIA A100 Tensor Core GPU的系统包括:戴尔EMC PowerEdge R7525和R740机架服务器;技嘉R281-G30、R282-Z96、G242-Z11、G482-Z54、G492-Z51系统;慧与Apollo 6500 Gen10系统和慧与ProLiant DL380 Gen10服务器;浪潮NF5488A5;超微A+服务器AS-4124GS-TNR和AS-2124GQ-NART。
结语
如今AI加速行业落地,企业对于AI工作负载的需求迅猛增加。但是为了更好地承载AI应用,企业需要将其IT基础设施进行升级。但是随之而来的是企业在AI基础设施方面的部署、运维等难题,而NVIDIA认证系统通过软硬件一体化的优化配置,帮助企业实现了开箱即用,快速上线AI应用,更好地驱动业务的创新。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。