如今,对于AI工作负载,软硬结合才能实现最优化。在近日举行的戴尔PowerEdge.Next活动上,NVIDIA 创始人兼首席执行官黄仁勋与戴尔技术创始人兼首席执行官Michael Dell 在活动上进行了炉边谈话。

同时,NVIDIA全栈式AI方案(包括GPU、DPU和NVIDIA AI Enterprise软件套件)现已登陆15款全新戴尔PowerEdge服务器,助力企业更快、更高效地构建和部署AI工作负载,包括语音识别、网络安全、推荐系统、以及越来越多突破性的基于语言的服务。
其实追溯一下,NVIDIA与戴尔双方的合作历史长达25年。眼下,AI是业界主流趋势,这为NVIDIA和戴尔后面的合作打开了新的发展空间。
DPU加速的戴尔PowerEdge系统
算力需求持续增长,数据中心规模越来越大,以实现并实现更高的可用性和计算密度。因此改善耗电量并降低相关电力成本便成为优化现有数据中心和设计新数据中心的主要目标。
众所周知,NVIDIA除了GPU产品,也在大力推动DPU的发展。DPU的效率要比通用CPU高得多。DPU有专门的硬件引擎来用于加速网络、数据加密/解密、密钥管理、存储虚拟化和其他任务。
此外,DPU上的CPU核心通常比一般服务器CPU更节能,并且可以直接访问网络管线。因此,即使一些网络任务无法通过DPU的专用引擎来加速,DPU核心也能比服务器CPU更高效地执行SDN、遥测、深度数据包检查或其他网络任务。
NVIDIA BlueField DPU(数据处理器)可以卸载、加速和隔离数据中心的网络和操作系统堆栈,这意味着使用NVIDIA DPU的企业可以将数据中心的能源使用减少近25%,从而有望节约数百万美元的能源费用。
而最新的戴尔PowerEdge系统也采用了NVIDIA BlueField-2 DPU,从而优化私有云、混合云和多云部署(包括运行VMware vSphere的部署)的性能和效率。
此外,采用NVIDIA Hopper GPU的系统在处理数据的效率方面提升了25倍,可将各类AI模型部署到生产环境中,且与上一代非加速服务器相比,通过NVIDIA加速的戴尔PowerEdge服务器在参数规模超5000亿的大型语言模型上的推理能效提高了300倍。
搭载NVIDIA AI Enterprise软件套件
除了硬件加速,软件加速也必不可少。NVIDIA在AI软件方面也进行了诸多布局,比如我们熟知的CUDA,而为了加速AI模型的开发,NVIDIA AI Enterprise是一款端到端、安全、云原生的AI软件套件,它简化了预测性AI的开发和部署,且针对广泛的领域和行业特定工作负载提供全球性的企业级支持。
NVIDIA AI Enterprise包括50多个框架和预训练模型以及一套AI工作流,所有这些均可助力机构加快部署时间,同时降低生产就绪型AI的成本。
全新戴尔PowerEdge服务器也搭载了NVIDIA AI Enterprise。凭借NVIDIA AI Enterprise,科学家和AI研究人员可以轻松访问NVIDIA领先的AI工具,推动高级诊断、智能工厂、欺诈检测等项目的AI发展。
NVIDIA AI Enterprise 3.0中包含的NVIDIA AI框架包括:用于基因组学的NVIDIA Clara Parabricks、用于医学成像的MONAI、用于网络安全的NVIDIA Morpheus、用于智能视频分析的NVIDIA Metropolis、用于视觉AI的NVIDIA DeepStream、用于推荐系统的NVIDIA Merlin等。 此外,它还包括用于构建客服联络中心智能虚拟助手的全新AI工作流、多语种音频转录和用于网络安全威胁检测的数字指纹识别。
即日起,企业可在NVIDIA LaunchPad上的数十个实操实验室中免费体验NVIDIA AI Enterprise,全新AI工作流实验室预计将于下周推出。
结语
戴尔PowerEdge服务器有着广泛的部署和应用,而随着AI类工作负载成为主流,这就要求服务器针对AI应用进行优化,而戴尔与NVIDIA展开合作,借助NVIDIA全栈式AI方案,戴尔PowerEdge系统能够更好地帮助企业应对AI挑战。
好文章,需要你的鼓励
OpenAI推出全新Sora应用,打造完全由AI生成视频的社交媒体平台。美国、加拿大、日本和韩国用户现可直接下载使用,无需邀请码,但该开放政策仅限时提供。其他地区用户仍需等待更广泛的开放或通过Discord等渠道获取邀请码。用户可使用ChatGPT账户登录,立即开始观看、分享和创建AI视频内容。
泰国SCBX公司研究团队首次针对泰语开发了语义对话结束检测技术,通过分析文字内容而非声音停顿来判断对话是否结束。研究比较了多种AI模型方案,发现微调的小型变压器模型能在110毫秒内做出准确判断,显著优于传统静音检测方法。该技术能识别泰语特有的句尾助词等语言特征,为银行客服、智能家居、教育等场景的语音交互系统提供了更自然流畅的解决方案。
AI搜索初创公司Perplexity与Getty Images达成多年授权协议,获得在其AI搜索工具中展示Getty图片的权限。这一合作标志着该公司战略转变,此前Perplexity因内容抓取和抄袭指控备受争议。协议要求在搜索结果中显示图片时必须包含署名和原始来源链接,强调归属和准确性的重要性。
浙江大学研究团队提出Graph2Eval框架,这是首个基于知识图谱的AI代理自动化评测系统。该框架通过知识图谱持续生成新测试任务,解决传统固定数据集评估的局限性。框架支持文档理解和网页交互两类任务,构建了包含1319个任务的测试集。实验验证显示该方法能有效区分不同AI系统能力,为AI代理评估开辟新路径。