在算力需求持续增加的情况下,数据中心一直持续提升计算密度。特别是AI驱动数据中心架构变革,比如扩展性和性能、效率和弹性。不过随着规模化发展和全球气候变化,能效在数据中心内变得越来越重要。
数据中心工作负载日趋多样化,任务量越来越多,管理成本不断提高。在节省资金、更大限度地提升每个数据中心的利用率以及应对气候变化等压力下,每个数据中心运营商都在力争提升服务器的能效。
数据中心运营商通常会采取多种策略来降低耗电量和电力成本,比如在电力供应成本更低或供应量更丰富的地区建立新的数据中心、改善电源使用效率(PUE)、提高冷却效率等。
除了这些常规手段,我们其实可以通过提升数据中心效率进而改善能效,从而承载更大规模的业务。
众所周知,现在的数据中心依靠软件定义进行管理,虽然软件定义带来了灵活性、可扩展性和易管理性,但是软件定义也会消耗最高可达30%的处理器计算资源,而且CPU在运行这些类型的基础设施工作负载方面效率并不高。
借助用于网络、安全和存储任务的DPU加速计算,是提高数据中心节能效率的下一项重要步骤。NVIDIA网络市场总监孟庆表示,数据中心建设需要转变为以数据为核心,DPU让CPU和GPU回归自己的本职工作,释放更多的CPU核心,减少数据搬运,提升效率。
NVIDIA BlueField 系列 DPU让价值看得见
在运行数据中心基础设施任务方面,DPU的效率要比通用CPU高得多。DPU有专门的硬件引擎来用于加速网络、数据加密/解密、密钥管理、存储虚拟化和其他任务。
此外,DPU上的CPU核心通常比一般服务器CPU更节能,并且可以直接访问网络管线。因此,即使一些网络任务无法通过DPU的专用引擎来加速,DPU核心也能比服务器CPU更高效地执行SDN、遥测、深度数据包检查或其他网络任务。
孟庆说,DPU站在全局视角提升整个基础设施的效率,降低数据中心的能耗。DPU的优势体现在软硬件结合,借助可编程实现与CPU、GPU的互动,从而让服务器的效率最大化。
通过将网络和安全任务卸载到NVIDIA BlueField 系列 DPU,可显著提升效率。该DPU包含特定领域专用的加速器,这些加速器擅长执行基础设施任务处理,包括网络、存储和安全。该DPU还具有比x86 CPU更节能的Arm CPU核心,非常适合卸载基础设施应用的控制平面和/或服务器虚拟化平台或容器管理软件的部分功能。
孟庆表示,DPU可以节省总体成本,通过测试发现,NVIDIA BlueField 系列DPU的卸载和加速功能显著节省了双向成本。卸载可释放CPU核心, 从而减少服务器部署数量,节省资本性支出。通过减少服务器数量,降低每台服务器的耗电量,客户能显著减少运营性支出。因此,拥有1万台服务器的大型数据中心三年期间可大幅节省2600万美元。通过使用NVIDIA BlueField 系列DPU,服务器可节省6.3%的资本性支出,由于较低的电力成本,运营性支出又节省了46%。
NVIDIA与爱立信、Red Hat和VMware合作进行的一系列测试显示,使用NVIDIA BlueField-2 DPU的服务器的功耗最多可降低24%。单靠应用这一个 DPU ,一个大型数据中心可在三年间削减近200万美元的电力成本。
在另一个测试案例中,DPU将网络对于CPU的需求降低了70%,从而释放出大量CPU,用于运行其他应用。此外,它们还使网络任务的速度大幅提升,达到了原来的54倍。
各行各业都在逐步采用零信任理念,以便提高网络安全。因此,NVIDIA在BlueField 系列DPU上测试了IPsec,这是非常常用的一项数据中心加密协议。
测试表明,通过在DPU上运行IPsec协议,数据中心能够提升网络性能,并将服务器的能耗降低21%,将客户端的能耗降低34%。对于大型数据中心而言,这相当于在三年间节省了近900万美元的电费。
孟庆表示,数据中心引入DPU需要一种思维上的转变,转换运维模式,并针对自身业务场景进行测试优化。并不是所有的业务场景适用DPU,虽然 DPU 对于机器较少的小型数据中心效率提升有限,但规模越大的数据中心越能够让 DPU 的作用发挥到最大。
总之,减少数据搬运,借助DPU提升基础设施的效率,并让业务与AI进行结合才能让数据中心的能效更高。NVIDIA也在开展用户教育,帮助他们部署DPU,实现业务加速。
展望未来
除了能效方面,NVIDIA与微软Azure、UCloud、网易数帆等伙伴在DPU落地方面也进行了诸多探索,包括加速计算、零信任安全、可编程等。
使用适当DPU实现通过硬件加速的网络卸载,可大幅减少每台服务器的耗电量,从而提高服务器效率、数据中心效率,降低用电量,减少冷却负载,最终大幅降低成本。
在这个能源成本不断上涨和对绿色环保IT基础设施需求不断增加的世界中,采用DPU将是大势所趋,通过它来降低数据中心的资本性支出和运营性支出,进而降低TCO。
扫描二维码,访问《NVIDIA BlueField DPU 能效》白皮书全文,进一步了解为什么在IT领域内能效成为一项越来越重要的指标,以及提升数据中心能效的六种主要策略。您还可以查看多个示例,了解NVIDIA BlueField 系列DPU加速和卸载技术是如何降低耗电量,并同时降低资本性支出(CapEx)和运营性支出(OpEx),助力实现更低的TCO。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。