如今,对于AI工作负载,软硬结合才能实现最优化。在近日举行的戴尔PowerEdge.Next活动上,NVIDIA 创始人兼首席执行官黄仁勋与戴尔技术创始人兼首席执行官Michael Dell 在活动上进行了炉边谈话。
同时,NVIDIA全栈式AI方案(包括GPU、DPU和NVIDIA AI Enterprise软件套件)现已登陆15款全新戴尔PowerEdge服务器,助力企业更快、更高效地构建和部署AI工作负载,包括语音识别、网络安全、推荐系统、以及越来越多突破性的基于语言的服务。
其实追溯一下,NVIDIA与戴尔双方的合作历史长达25年。眼下,AI是业界主流趋势,这为NVIDIA和戴尔后面的合作打开了新的发展空间。
DPU加速的戴尔PowerEdge系统
算力需求持续增长,数据中心规模越来越大,以实现并实现更高的可用性和计算密度。因此改善耗电量并降低相关电力成本便成为优化现有数据中心和设计新数据中心的主要目标。
众所周知,NVIDIA除了GPU产品,也在大力推动DPU的发展。DPU的效率要比通用CPU高得多。DPU有专门的硬件引擎来用于加速网络、数据加密/解密、密钥管理、存储虚拟化和其他任务。
此外,DPU上的CPU核心通常比一般服务器CPU更节能,并且可以直接访问网络管线。因此,即使一些网络任务无法通过DPU的专用引擎来加速,DPU核心也能比服务器CPU更高效地执行SDN、遥测、深度数据包检查或其他网络任务。
NVIDIA BlueField DPU(数据处理器)可以卸载、加速和隔离数据中心的网络和操作系统堆栈,这意味着使用NVIDIA DPU的企业可以将数据中心的能源使用减少近25%,从而有望节约数百万美元的能源费用。
而最新的戴尔PowerEdge系统也采用了NVIDIA BlueField-2 DPU,从而优化私有云、混合云和多云部署(包括运行VMware vSphere的部署)的性能和效率。
此外,采用NVIDIA Hopper GPU的系统在处理数据的效率方面提升了25倍,可将各类AI模型部署到生产环境中,且与上一代非加速服务器相比,通过NVIDIA加速的戴尔PowerEdge服务器在参数规模超5000亿的大型语言模型上的推理能效提高了300倍。
搭载NVIDIA AI Enterprise软件套件
除了硬件加速,软件加速也必不可少。NVIDIA在AI软件方面也进行了诸多布局,比如我们熟知的CUDA,而为了加速AI模型的开发,NVIDIA AI Enterprise是一款端到端、安全、云原生的AI软件套件,它简化了预测性AI的开发和部署,且针对广泛的领域和行业特定工作负载提供全球性的企业级支持。
NVIDIA AI Enterprise包括50多个框架和预训练模型以及一套AI工作流,所有这些均可助力机构加快部署时间,同时降低生产就绪型AI的成本。
全新戴尔PowerEdge服务器也搭载了NVIDIA AI Enterprise。凭借NVIDIA AI Enterprise,科学家和AI研究人员可以轻松访问NVIDIA领先的AI工具,推动高级诊断、智能工厂、欺诈检测等项目的AI发展。
NVIDIA AI Enterprise 3.0中包含的NVIDIA AI框架包括:用于基因组学的NVIDIA Clara Parabricks、用于医学成像的MONAI、用于网络安全的NVIDIA Morpheus、用于智能视频分析的NVIDIA Metropolis、用于视觉AI的NVIDIA DeepStream、用于推荐系统的NVIDIA Merlin等。 此外,它还包括用于构建客服联络中心智能虚拟助手的全新AI工作流、多语种音频转录和用于网络安全威胁检测的数字指纹识别。
即日起,企业可在NVIDIA LaunchPad上的数十个实操实验室中免费体验NVIDIA AI Enterprise,全新AI工作流实验室预计将于下周推出。
结语
戴尔PowerEdge服务器有着广泛的部署和应用,而随着AI类工作负载成为主流,这就要求服务器针对AI应用进行优化,而戴尔与NVIDIA展开合作,借助NVIDIA全栈式AI方案,戴尔PowerEdge系统能够更好地帮助企业应对AI挑战。
好文章,需要你的鼓励
临近年底,苹果公布了2024年App Store热门应用和游戏榜单,Temu再次成为美国下载量最多的免费应用。
云基础设施市场现在已经非常庞大,很难再有大的变化。但是,因为人们可以轻松地关闭服务器、存储和网络——就像开启它们那样,预测全球云基础设施开支可能非常困难。