如今,对于AI工作负载,软硬结合才能实现最优化。在近日举行的戴尔PowerEdge.Next活动上,NVIDIA 创始人兼首席执行官黄仁勋与戴尔技术创始人兼首席执行官Michael Dell 在活动上进行了炉边谈话。
同时,NVIDIA全栈式AI方案(包括GPU、DPU和NVIDIA AI Enterprise软件套件)现已登陆15款全新戴尔PowerEdge服务器,助力企业更快、更高效地构建和部署AI工作负载,包括语音识别、网络安全、推荐系统、以及越来越多突破性的基于语言的服务。
其实追溯一下,NVIDIA与戴尔双方的合作历史长达25年。眼下,AI是业界主流趋势,这为NVIDIA和戴尔后面的合作打开了新的发展空间。
DPU加速的戴尔PowerEdge系统
算力需求持续增长,数据中心规模越来越大,以实现并实现更高的可用性和计算密度。因此改善耗电量并降低相关电力成本便成为优化现有数据中心和设计新数据中心的主要目标。
众所周知,NVIDIA除了GPU产品,也在大力推动DPU的发展。DPU的效率要比通用CPU高得多。DPU有专门的硬件引擎来用于加速网络、数据加密/解密、密钥管理、存储虚拟化和其他任务。
此外,DPU上的CPU核心通常比一般服务器CPU更节能,并且可以直接访问网络管线。因此,即使一些网络任务无法通过DPU的专用引擎来加速,DPU核心也能比服务器CPU更高效地执行SDN、遥测、深度数据包检查或其他网络任务。
NVIDIA BlueField DPU(数据处理器)可以卸载、加速和隔离数据中心的网络和操作系统堆栈,这意味着使用NVIDIA DPU的企业可以将数据中心的能源使用减少近25%,从而有望节约数百万美元的能源费用。
而最新的戴尔PowerEdge系统也采用了NVIDIA BlueField-2 DPU,从而优化私有云、混合云和多云部署(包括运行VMware vSphere的部署)的性能和效率。
此外,采用NVIDIA Hopper GPU的系统在处理数据的效率方面提升了25倍,可将各类AI模型部署到生产环境中,且与上一代非加速服务器相比,通过NVIDIA加速的戴尔PowerEdge服务器在参数规模超5000亿的大型语言模型上的推理能效提高了300倍。
搭载NVIDIA AI Enterprise软件套件
除了硬件加速,软件加速也必不可少。NVIDIA在AI软件方面也进行了诸多布局,比如我们熟知的CUDA,而为了加速AI模型的开发,NVIDIA AI Enterprise是一款端到端、安全、云原生的AI软件套件,它简化了预测性AI的开发和部署,且针对广泛的领域和行业特定工作负载提供全球性的企业级支持。
NVIDIA AI Enterprise包括50多个框架和预训练模型以及一套AI工作流,所有这些均可助力机构加快部署时间,同时降低生产就绪型AI的成本。
全新戴尔PowerEdge服务器也搭载了NVIDIA AI Enterprise。凭借NVIDIA AI Enterprise,科学家和AI研究人员可以轻松访问NVIDIA领先的AI工具,推动高级诊断、智能工厂、欺诈检测等项目的AI发展。
NVIDIA AI Enterprise 3.0中包含的NVIDIA AI框架包括:用于基因组学的NVIDIA Clara Parabricks、用于医学成像的MONAI、用于网络安全的NVIDIA Morpheus、用于智能视频分析的NVIDIA Metropolis、用于视觉AI的NVIDIA DeepStream、用于推荐系统的NVIDIA Merlin等。 此外,它还包括用于构建客服联络中心智能虚拟助手的全新AI工作流、多语种音频转录和用于网络安全威胁检测的数字指纹识别。
即日起,企业可在NVIDIA LaunchPad上的数十个实操实验室中免费体验NVIDIA AI Enterprise,全新AI工作流实验室预计将于下周推出。
结语
戴尔PowerEdge服务器有着广泛的部署和应用,而随着AI类工作负载成为主流,这就要求服务器针对AI应用进行优化,而戴尔与NVIDIA展开合作,借助NVIDIA全栈式AI方案,戴尔PowerEdge系统能够更好地帮助企业应对AI挑战。
好文章,需要你的鼓励
虽然软件工程师的平均薪酬比运维工程师高出10%以上,且有更多高薪职位晋升机会,但IT运维职业仍有其独特优势。首先,IT岗位入职门槛较低,约62%的运维工程师拥有本科学历,而开发者这一比例为73%。其次,IT工作更加多样化,从服务器故障排除到战略规划都有涉及。此外,IT工程师能更直接地看到工作成果,与最终用户接触更频繁。IT运维还提供更多样的职业发展路径,可转向网络、数据工程、网络安全等领域。最后,相比软件开发,IT运维工作受AI威胁较小。
微软研究院联合多所知名高校开发出SeerAttention-R稀疏注意力框架,专门优化AI推理模型的长序列解码效率。该技术通过自蒸馏学习让AI学会智能筛选重要信息,在保持近乎无损推理准确性的同时,实现了高达9倍的计算加速。系统采用轻量级插件设计,无需重训原模型即可集成,为长文本AI推理应用的普及铺平道路。
CityFibre宣布其专用企业级以太网服务覆盖范围扩大三倍,现可为超过26万家英国企业提供服务。此次扩展基于专用商用以太网平台,由工程合作伙伴Calix提供支持。该公司声称其以太网价格比主要竞争对手便宜20%。此项投资得益于全国范围内10Gbps XGS-PON技术升级,目前已在85%的网络中实施。
哈工大与阿里巴巴团队合作开发了ComfyUI-R1,这是首个专门用于自动化工作流生成的大型推理模型。该模型通过长链推理思维,能够根据用户自然语言指令自动生成可执行的ComfyUI工作流。在7B参数规模下,ComfyUI-R1达到97%格式正确率,在多项评估指标上显著超越GPT-4o等先进模型,为AI内容创作提供了更智能、更易用的解决方案。