曙光服务器节能的新标准

服务器能耗的增加主要体现在如下几个方面：首先是CPU功耗的增加，几十年来，CPU的发展基本遵循摩尔定律，其制造工艺不断提升，晶体管越来越小，频率越来越高，在其计算能力飞速提升的同时，其功耗同样增长惊人；其次是内存及其功耗的增加，自从冯*诺伊曼架构诞生以来，内存就成了计算机中必不可少的部件，随着制造工艺的改进，内存容量越来越大，速度越来越快，现在主流的DDR2和FBD内存均已达到10W这个量级；再次是芯片组和外围设备，由于CPU和内存频率不断提高，这就要求和它们配合的芯片组，总线和外围设备都需要工作在更高的频率，才能充分发挥其性能，而更高的频率意味着更多的电能消耗；第四方面是机房制冷和供电设备的能耗，由于服务器对高温非常敏感，因此机房必须配置大量的制冷设备，而且机房供电设备在把电压转换为220V时，会损失部分电能。以百万亿次超级计算机-曙光5000A为例，其采用近4000颗四核处理器构建，总内存容量达64TB，存储容量达500TB，总体功耗达到700千瓦，其每年的电费开销预期将高达1000万元人民币以上，未来持续千万亿次超级计算机系统的能源消耗预期将远高于以上估算，可以说，当前节能已逐渐成了服务器技术的关键词。

 服务器节能技术研究现状及发展趋势

能耗和散热的限制是发展多核技术的初始动机，长期以来，业界在服务器节能技术方面做了大量的努力，研究主要集中在三个方面：芯片级节能技术，如CPU功耗控制、CPU频率调整、芯片级冷却技术、低功耗专用芯片部件等；基础架构级节能技术，如存储致冷、高效率电源、水冷及液态金属致冷机柜、智能温控风扇等；系统级节能技术，如基于作业调度的机群节点休眠、面向能耗的进程及作业级迁移等。 

芯片级节能技术

芯片级节能技术主要包括CPU功耗控制、CPU频率调整和专用低功耗部件。

CPU加工工艺的不断提升，多核及CPU中集成内存控制器，在提高性能的同时，降低了主板芯片组的功耗。另一方面，通过降低电压和频率也可以降低CPU的动态功耗，在CPU功耗控制方面，如Intel推出的动态功耗节点管理器（Dynamic Node Management）是一个内嵌于英特尔服务器芯片组的带外 (OOB) 功率管理策略引擎。它与 BIOS 和操作系统功耗管理 (OSPM) 协作，动态地调整平台功耗，从而实现服务器）性能/功耗的最大化。在专用低功耗部件研究方面，包括上海澜起公司研发的高级内存缓存AMB芯片、SSD固态电子硬盘等技术与产品。
  
基础架构级节能技术

基础架构级节能技术主要包括液冷、存储制冷、高效能电源、高效能散热冷却技术等诸多技术。
高效能散热冷却技术包括研究效率更高的散热方式和性能更好的冷却设备，如HP PARSEC体系结构(Parallel Redundant Scalable Enterprise Cooling)、IBM的机房冷却系统等。存储制冷（Stored Cooling）指预先基于制冷设备存储部分制冷能力，在需要时再有效释放，类似电池的储电功能，如IBM基于存储冷却技术的机房冷却方案。液冷技术包括水冷及液态金属制冷，由于其导热能力强并且热容更大，能够更快的缓解负载突变造成的散热压力并吸收更多的热量，在当前大型计算机中使用越来越普遍，如IBM  Cool Blue机柜系统。

系统级节能技术

在解决功耗方面，除采用上述CPU功耗控制、CPU工作频率调整、液体冷却、低功耗专用芯片、芯片级冷却等技术以外，学术界和企业界也在研究系统级节能技术和产品，包括：基于负载情况动态调整系统状态、实施部分节点或部件的休眠；根据各进程能耗的不同对CPU任务队列进行调整，如将一些产生较多热量的任务从温度较高的CPU上迁移到温度较低的CPU上从而实现能耗的均衡。如国家高性能计算机工程技术研究中心开发的自适应功耗管理系统，可实现基于能效的作业调度策略，IBM PowerExecutive允许用户 “ 计量 ” 任何单一物理系统或一组物理系统的实际电力使用数据和趋势数据，并可对实际用电量进行监视，并在系统、机箱或机架层次上对数据中心中的电耗和热耗进行有效分配。

服务器节能技术发展趋势

当前全球最快性能Top 500超级计算机其每瓦Gflops性能都在0.5以下，未来高效能计算机系统，其每瓦Gflops性能应在1.0GFlops per watt 以上，当前混合异构体系结构、自主节能管理、应用加速、系统级节能等技术的发展正推动这一目标的逐步实现。

体系结构促动节能技术的发展

虽然尚存在软件的可用性、任务调度、编程模式等诸多问题，基于标量处理器、FPGA、向量及多线程处理器、图形处理器等来构建混合异构的高性能计算机系统已成为解决能耗的主要途径之一，其中可重构计算结构能以较低的硬件复杂度实现指令、数据及线程级并行，并且具有较大的性能/功耗、性能/价格优势，已广泛应用于科学计算等诸多领域，以实现应用加速。采用混合异构的高性能计算机系统包括IBM代号为
“Roadrunner”的千万亿次超级计算机，其采用混合异构刀片机群来构建，每个机箱包括3个计算节点，每个节点包括4个刀片，2个QS22 Cell刀片，1个扩展连接刀片，另外一个是LS21双核AMD Opteron刀片。全系统采用6562颗AMD 双核Opteron CPU 和12240颗八核Cell 处理器芯片，其中，Opteron处理器负责一般的计算进程、文件IO和通讯，Cell负责那些复杂的、重复的、大量消耗机器资源的计算过程，同时Roadrunner还采用先进的“混合编程（Hybrid Programming）”软件，以实现异构计算。该款机器以437.43 MFLOPS/watt的能效成绩排在Green500中第三名。

节能趋向全方位发展

芯片级、基础架构级以及系统级节能确实能够节约部分功耗，但并不能提高机房的冷却效率，高性能计算机系统中节能和散热冷却是紧密结合在一起的，基于服务器能耗监控和制冷设备的联动可以提升冷却系统的效率，实现精确制冷。服务器能耗监控和制冷设备的联动基于完整的机房散热模型，评估机房的散热效率，并根据散热模型计算相应制冷量，调整空调的风压和风速、液冷机柜的温度、流速、机柜风扇转速以实现精确制冷的需求。

可以说，未来服务器系统的节能必将向芯片、基础架构、系统、机房制冷联动全方位发展，包括芯片级节能技术、低功耗专用芯片、芯片级冷却、应用加速、液体冷却、CPU频率动态调整、功耗限制、实施部分节点或部件的休眠、根据各进程能耗的不同对CPU任务队列进行调整、基于能效的作业调度策略、基于散热模型的机房制冷联动等诸多方面。

自主节能管理浮出水面

未来节能管理和服务器监控管理融合的趋势将进一步增强，包括自动监控各类资源部件的能耗，对能耗监控历史数据深度挖掘、关联推理并实施系统动态功耗预测，通过其自配置、自恢复、自优化等特性自主地采取措施、减少人工干预，实施和作业调度、虚拟计算环境、机房制冷的联动，可根据应用的能耗特征构造虚拟计算环境，并提供保证服务质量的综合手段以及分析、诊断应用系统的工具，减少人工干预，以实现智能功耗管理。自主节能管理可以有效缓解高性能计算机系统管理的复杂性和功耗壁垒双重压力。

服务器能效评价技术现状

服务器系统的发展离不开基准程序测试。按照应用类型，基准测试程序可分为科学计算、商业应用、信息服务等。按照测试关注的对象，包括宏观基准测试程序和微观基准测试程序两类。宏观基准测试程序测量服务器系统的总体性能，如NPB包括5个核心程序和3个CFD应用程序，用来测试大规模计算机系统性能；

PARKBENCH基于Fortran90和HPF来测试共享或分布共享计算机结构的性能；PMB是由Pallas研究开发的一套综合的MPI基准测试程序集；PmaC是一套测试大规模计算机系统基本性能的正交基准测试程序集；HPCC综合考虑了计算、访存、通信与输入输出性能指标，试图取代传统的Linpack Benchmark 成为TOP500排序的依据。微观基准程序测量服务器系统某个特定方面的性能，如CPU速度、存储器速度、I/O速度、操作系统性能和网络性能等，如Linpack侧重于系统浮点峰值运算能力的测试。目前已提出和正在使用的基准程序组已超过100多个。

 当前在服务器能效评价标准及技术方面，主要有如下几种评价方式：SPECpower_ssj2008
国际标准性能评估机构（SPEC）发布了SPECpower_ssj2008,这是业界第一项用于评测系统级别服务器的与运算性能相关的功耗基准测试工具，其测试模型如下图1所示。SPEC设计的SPECpower_ssj2008不仅可以作为一项指标来比较不同服务器之间能耗和性能，还可作为提高服务器效率的工具集来使用。SPECpower_ssj2008可以评估服务器系统在10%负载的待机模式到100%满负载状况下的功耗数据，测试的负载为典型的服务器端的JAVA商业应用程序。负载可扩展，多线程，可以在不同的操作环境间移植。

 
图1、SPECpower_ssj2008测试模型

运行在SUT（System Under Test）上的负载SSJ（Server Side Java）是一个模拟标准三层客户-服务器架构的java实现。SSJ包含JVM Instance和JVM Director,JVM Instance包含三层：Threads(tier1)，Business Logic(tier2)和Warehouses(tier3)。JVM Director和实际负载同时运行，它的主要作用是控制负载上的JVM实例；与CCS通信，接受和分发来自CCS的命令；收集负载数据并向CCS报告。

Green Top 500

2007年11月，在美国内华达州里诺市举行的超级计算2007大会上，美国弗吉尼亚工学院首次发布了“绿色500（Green500）”超级计算机排行榜，对全球能效最高的超级计算机进行了排名，以作为TOP500排行榜的补充。Green500榜单中所有的系统都以MFLOPS/Watt（百万次浮点运算/瓦特）来统计其性能功耗比。MFLOPS数值来自TOP500榜单中所上报的Linpack基准测试性能,Watt值来自系统运行Linpack基准时的测量功率，或者是基于系统规格估算出的最大功率，单节点能耗基于功率表、电压计、电流计测得，用多个节点的功耗求平均，再乘所有计算节点个数，得到系统总能耗。

在第31次Top500排行榜名列第一的Roadrunner, 以437.43 MFLOPS/watt能效成绩排名Green500第三，另外两台系统都是IBM基于Cell处理器的QS22超级计算机，能效值分别为488.14 MFLOPS/watt、488.14 MFLOPS/watt。

Green  Grid

2007年成立的行业协会Green Grid 开发了测量数据中心效率和生产力的标准，如图2所示。指标PUE（Power UsageEffectiveness，电力使用效率）=总设施耗电量与IT设备耗电量之比。应当小于2，越接近1越好；指标DCiE（DataCenter infrastructure ，数据中心基础设施效率）=IT设备耗电量x100与总设施耗电量之比，数字越大越好。这两项指标被用于将数据中心消耗在供电和冷却上的电量与数据中心的IT设备使用的电量进行比较。Green Grid最终希望为数据中心拿出一个类似于汽车每加伦英里数的指标，不过，采集能耗数据以及应用这两项指标，使其可被应用于不同机构的数据中心效率上，仍有很多工作要做。

 
图2、Green Grid 评价指标

中国服务器能效评价标准展望

如何衡量服务器系统的能效？一方面服务器的能效囊括CPU、内存、外围芯片组、电源、硬盘等诸多部件能耗的状况，我们需要开发新的度量准则（metrics）和benchmarks来测量和预测服务器系统及部件级能效特征，这种基准测试往往基于压力测试，评价服务器及其组件的极限能效性能，另一方面，我们也必须看到服务器的能效和应用的能效需求密不可分，应用在影响服务器系统性能的高低、规模的大小的同时，也在影响系统整体能效的输出状态，所以高性能计算机的能效评价我们必须考虑到应用的因素，应用的多样性和新技术的涌现，导致了大规模计算机系统实现形式的多样性，能效评价应能适应这些新的变化，并能关注到系统的占地面积、维护成本、可靠性、可用性、好用性、总体拥有成本、可编程性、可移植性等各影响因素的层次关系，最终目标应是实现以应用效率为导向的服务器能效评价体系，而非单一的功耗度量准则。