如今,对于AI工作负载,软硬结合才能实现最优化。在近日举行的戴尔PowerEdge.Next活动上,NVIDIA 创始人兼首席执行官黄仁勋与戴尔技术创始人兼首席执行官Michael Dell 在活动上进行了炉边谈话。
同时,NVIDIA全栈式AI方案(包括GPU、DPU和NVIDIA AI Enterprise软件套件)现已登陆15款全新戴尔PowerEdge服务器,助力企业更快、更高效地构建和部署AI工作负载,包括语音识别、网络安全、推荐系统、以及越来越多突破性的基于语言的服务。
其实追溯一下,NVIDIA与戴尔双方的合作历史长达25年。眼下,AI是业界主流趋势,这为NVIDIA和戴尔后面的合作打开了新的发展空间。
DPU加速的戴尔PowerEdge系统
算力需求持续增长,数据中心规模越来越大,以实现并实现更高的可用性和计算密度。因此改善耗电量并降低相关电力成本便成为优化现有数据中心和设计新数据中心的主要目标。
众所周知,NVIDIA除了GPU产品,也在大力推动DPU的发展。DPU的效率要比通用CPU高得多。DPU有专门的硬件引擎来用于加速网络、数据加密/解密、密钥管理、存储虚拟化和其他任务。
此外,DPU上的CPU核心通常比一般服务器CPU更节能,并且可以直接访问网络管线。因此,即使一些网络任务无法通过DPU的专用引擎来加速,DPU核心也能比服务器CPU更高效地执行SDN、遥测、深度数据包检查或其他网络任务。
NVIDIA BlueField DPU(数据处理器)可以卸载、加速和隔离数据中心的网络和操作系统堆栈,这意味着使用NVIDIA DPU的企业可以将数据中心的能源使用减少近25%,从而有望节约数百万美元的能源费用。
而最新的戴尔PowerEdge系统也采用了NVIDIA BlueField-2 DPU,从而优化私有云、混合云和多云部署(包括运行VMware vSphere的部署)的性能和效率。
此外,采用NVIDIA Hopper GPU的系统在处理数据的效率方面提升了25倍,可将各类AI模型部署到生产环境中,且与上一代非加速服务器相比,通过NVIDIA加速的戴尔PowerEdge服务器在参数规模超5000亿的大型语言模型上的推理能效提高了300倍。
搭载NVIDIA AI Enterprise软件套件
除了硬件加速,软件加速也必不可少。NVIDIA在AI软件方面也进行了诸多布局,比如我们熟知的CUDA,而为了加速AI模型的开发,NVIDIA AI Enterprise是一款端到端、安全、云原生的AI软件套件,它简化了预测性AI的开发和部署,且针对广泛的领域和行业特定工作负载提供全球性的企业级支持。
NVIDIA AI Enterprise包括50多个框架和预训练模型以及一套AI工作流,所有这些均可助力机构加快部署时间,同时降低生产就绪型AI的成本。
全新戴尔PowerEdge服务器也搭载了NVIDIA AI Enterprise。凭借NVIDIA AI Enterprise,科学家和AI研究人员可以轻松访问NVIDIA领先的AI工具,推动高级诊断、智能工厂、欺诈检测等项目的AI发展。
NVIDIA AI Enterprise 3.0中包含的NVIDIA AI框架包括:用于基因组学的NVIDIA Clara Parabricks、用于医学成像的MONAI、用于网络安全的NVIDIA Morpheus、用于智能视频分析的NVIDIA Metropolis、用于视觉AI的NVIDIA DeepStream、用于推荐系统的NVIDIA Merlin等。 此外,它还包括用于构建客服联络中心智能虚拟助手的全新AI工作流、多语种音频转录和用于网络安全威胁检测的数字指纹识别。
即日起,企业可在NVIDIA LaunchPad上的数十个实操实验室中免费体验NVIDIA AI Enterprise,全新AI工作流实验室预计将于下周推出。
结语
戴尔PowerEdge服务器有着广泛的部署和应用,而随着AI类工作负载成为主流,这就要求服务器针对AI应用进行优化,而戴尔与NVIDIA展开合作,借助NVIDIA全栈式AI方案,戴尔PowerEdge系统能够更好地帮助企业应对AI挑战。
好文章,需要你的鼓励
OpenAI CEO描绘了AI温和变革人类生活的愿景,但现实可能更复杂。AI发展将带来真正收益,但也会造成社会错位。随着AI系统日益影响知识获取和信念形成,共同认知基础面临分裂风险。个性化算法加剧信息茧房,民主对话变得困难。我们需要学会在认知群岛化的新地形中智慧生存,建立基于共同责任而非意识形态纯洁性的社区。
杜克大学等机构研究团队通过三种互补方法分析了大语言模型推理过程,发现存在"思维锚点"现象——某些关键句子对整个推理过程具有决定性影响。研究表明,计划生成和错误检查等高层次句子比具体计算步骤更重要,推理模型还进化出专门的注意力机制来跟踪这些关键节点。该发现为AI可解释性和安全性研究提供了新工具和视角。
传统数据中心基础设施虽然对企业至关重要,但也是预算和房地产的重大负担。模块化数据中心正成为强有力的替代方案,解决企业面临的运营、财务和环境复杂性问题。这种模块化方法在印度日益流行,有助于解决环境问题、满足人工智能的电力需求、降低成本并支持新一代分布式应用。相比传统建设需要数年时间,工厂预制的模块化数据中心基础设施可在数周内部署完成。
法国索邦大学团队开发出智能医学文献管理系统Biomed-Enriched,通过AI自动从PubMed数据库中识别和提取高质量临床案例及教育内容。该系统采用两步注释策略,先用大型AI模型评估40万段落质量,再训练小型模型处理全库1.33亿段落。实验显示该方法仅用三分之一训练数据即可达到传统方法效果,为医学AI发展提供了高效可持续的解决方案。