小机柜大学问：数据中心散热与基础环境建设

    ZDNetChina服务器站 3月6日x86服务器分析  高密度服务器部署是数据中心建设发展的必然，由此而引发的散热问题，理应引起高度的重视。小小一个机柜，蕴含着巨大的玄机。

    新一代数据中心是当今的热点，无论是资源整合、虚拟化；还是绿色节能、自动化以及安全管理，都是业界津津乐道的话题。

　　随着新一代数据中心的建设，网络、服务器、存储等基础设备进一步集中，这就对数据中心的基础环境提出了新的要求。以刀片服务器应用为例，其具有高计算密集度、易部署、好管理、绿色节能等特性，是数据中心建设的上佳选择。但是对于现有的数据中心而言，电力不足、制冷达不到要求，这都困扰着刀片服务器的推广和应用。

　　应对电力不足

　　以前我们曾经介绍过，现有数据中心的机架或者机柜，其电力配置为10A（安培），满负荷可部署15～16台1U机架式服务器。对于差一些的数据中心，其电力配备就只有6.8A，对于刀片服务器而言。一个满配的刀片服务器，其所需要的电力大约为10A。

　　按照数据中心现有的能力计算，10A电力配备显然无法满足更多台刀片服务器部署的需求，电力不足的矛盾非常突出。如何解决供电不足的难题，最容易想到的是从扩容入手。实际上，在数据中心或者是楼宇构建之初，对于电力容量就有一定的测算。如今，增加电力容量，这就需要电力部门进行扩容，并涉及到相应的线路、开关等设备的改造，其所牵涉的因素很多，受制约的因素也很多。

　　对于现有用电情况进行合理调整，是应对电力不足的另外一个解决办法。据惠普全球IT科技服务部总经理潘家驰介绍，通过采用一套称之为“适应性数据高可用管理（Adaptive Data Availability Management，ADAM）”的方案工具，他们对现有一些企业的数据中心进行监控，结果发现，10%左右的电力能耗用于灯光照明等，而用于IT设备的电力消耗大约只有30%，其余大量的电力消耗在制冷，也就是说，运营管理的成本已经大大超过了设备的实际使用成本。通过合理的布局，以及科学的热力模型设计，将可以大大降低运营维护设备的电力消耗，有效缓解电力不足的矛盾。

　　从机柜入手

　　空调制冷成本的居高不下，与机架/机柜以及散热模型的设计有关。据了解，很多机房的空调温度很低，夏日里，人在机房中都需要穿很厚的衣服。其原因，机房是按照最高散热需求的设备设定空调温度的，这种粗放的管理，必然导致能效的降低。

　　机房散热的效果，与机柜选择以及机柜的摆放密切相关。有关机柜很容易被忽略。在一次采访中，某电力机房的管理员表示，企业的IT预算有限，很难说服企业领导，支付超过一万元来购买机柜，在有些领导眼里，机房机柜与家庭生活中的家具也没有多大区别，能省就省。为了追求美观气派，很多机柜都采用玻璃门，导致机器设备的散热效果不佳，故障频繁发生。

　　目前液冷（或称水冷）机柜是讨论最多的话题，更准确的描述是采用液冷门的机柜。这种液冷门可以提供更好散热能力。据泛达公司产品技术经理王剑春介绍，普通的风冷设备大概可以支持5kw（千瓦）的散热需求，采用液冷门则可以提高到25kw～35kw。此外，与风冷方式相比，液冷的热交换方式更加容易控制，减少了热气流的干扰，效率更高。

　　王剑春表示，以泛达公司的NetAccess机柜为例，其水冷门系统采用单独的循环系统，采用冷水（Chill Water）作为制冷剂，一台分布式压缩主机CDU(Cooling Distribution Unit)一般能够提供120KW到150KW的制冷量(个别产品最大能够提供300KW)，即一台CDU能够控制最多六个水冷门机柜，CDU和每台机柜之间各有两根水管连接。CDU施工并不复杂，只是要注意在弯曲处安装防漏装置，要求与强电电源线保持一定距离。采用这种水冷门系统，为局部高密度的服务器散热问题提供了一个非常有效的解决方案。

　　对于液冷门系统，强生公司中国区企业计算经理蒙伟表示，他们不会采用类似的系统。最近，强生公司刚刚完成了一个大的数据中心项目的建设，通过构建2～3个数据中心，为强生在亚太地区14个国家和地区的生产厂、销售分支机构提供全方位的IT服务，其中包括ERP服务在内。通过这种集中化的数据中心整合，强生改变了以往IT分散部署的方式，企业管理水平得到了进一步提升。据蒙伟介绍，在数据中心构建的过程中，他们用到了安腾服务器，也用到了刀片服务器。其中刀片服务器在应用整合、绿色节能等方面的确具有优异的表现。有关散热的问题，从应用结果看，刀片服务器自身的散热能力已经可以满足需要。对于采用液冷门散热的方式，他们非常担心水的泄漏。

　　中金数据系统有限公司市场经理张松与蒙伟持有相同的观点。目前中金数据在北京、上海、华南、烟台四个核心节点构建了大规模的数据中心，并在西部构建了远程备份中心。依托这些数据中心，中金数据为金融等国内大型企业提供第三方外包数据中心服务，在国内金融行业具有广泛知名度。张松表示，其数据中心机房构建是完全无水环境的，即便所用的水冷式空调系统，其水循环的部分全部隔离在机房之外，机房环境一滴水都没有。这样做的目的就是要保证机房环境的绝对安全。

　　专业机房服务提供商对于水冷门系统也是持有一种观望的态度。北京创赢科技公司薄英雪表示，他们在向用户推荐方案的时候，不会推荐水冷门系统，其一对于大多数北方的用户而言，没有必要采用水冷系统；其二很多用户出于安全的考虑，对于水冷门的认可度还有一个逐步接纳的过程。从创赢科技的角度看，他们会跟踪水冷门系统技术，对于其发展进行跟踪。薄英雪表示，新技术在推广的初期，其售价总是不菲的，因此，目前选择风冷系统还是具有最佳性价比的。

　　针对液体泄漏所导致的安全隐患，王剑春表示，这种顾虑源于用户对于水冷门系统缺乏必要的了解。以水为例，它经过了一种特殊的处理，是绝缘的，不导电。此外，可以通过各种监视系统随时对系统进行监控管理，可以做到预防和报警。王剑春表示，目前机房大多数采用空调系统漫散推送冷气的方式，为了使局部高热区域降温，其温度往往需要调得很低，导致数据中心平均PUE（Power Usage Effectiveness，能源利用效率）在2.5以上，国外则在1.7左右，与之相比，国内数据中心环境设施能源消耗已经大大超过IT设备本身。有数据表明，通过使用冷水（Chill Water）循环冷却系统，至少可以提高20%的能源使用效率。

　　风冷的对策

　　为了控制局部高热区域的散热，除了液冷门系统的方式外，通过增加空调，对于局部区域加压冷空气也是一种常用的方式。传统专业机柜市场厂家，如科士达、图腾、威龙等都具有相应的产品和解决方案。在采访中，科士达产品经理刘尉敏表示，液冷门系统方式是一种高端的应用需求，适合应用在刀片服务器满配的环境条件下，这种情况常常出现在电信运营商等数据中心机房，但是对于大多数的用户而言，并没有这样的应用需求。在此，刘尉敏也提到了成本问题，由于规模的限制，目前液冷门系统的售价还是比较高。与风冷系统方案相比，其售价至少相差一个数量级，对用户来说，这还是一个比较大的投入。

　　通过局部增加空调，以及合理的机柜摆放，例如机柜门对门、背对背，令冷热风道交替的方式，也可以达到良好的散热效果。对此，王剑春指出，局部增加空调也存在一定的局限，首先空调系统需要占用必要的物理空间，它需要额外增加一排空调，对于局部高热区域进行面对面的致冷。此外，采用这种方式大约可以增加15kw的致冷能力。超过了这个范围，风冷将无能为力。

刘尉敏指出，对于数据中心建设而言，并非仅是机柜选择这么简单，从电源、到冷却、线缆布局、机架/柜物理结构，再到管理系统、接地等，如今的数据中心机房设计，已经上升到了“环境基础设施”这样的一个高度，需要统筹考虑。在TIA/GIA 942数据中心机房标准中，对此有了更多的规定。据王剑春介绍，由泛达与Cisco、IBM等共同建立的PACT联盟，不断研发新产品，共同参与一些全球行业标准化组织。其产品具有很多独到的功能和特性，经过反复试验的含科学比例孔距（前、后门密集通风网孔的通风面积均大于柜门面积的63%）的前后门设计，可以保持机柜前后冷热气流的畅通。

　　王剑春指出，针对高密度核心交换机散热的特殊性，要求交换机的一侧距离机柜边缘有6英寸宽的空间，才能有效保证其良好的气流环境。为此，在机柜设计中，设计有侧出风导流装置，可以有效地保证将其侧出热气流的散出，并导向机柜后部，避免热气流散向机柜内其他方向，这种结构能够有助于使整个机柜，甚至整排机柜和整个机房内形成一个合理的冷热气流的循环。

　　此外，线缆也是导致散热效率不高的重要原因。在新的产品设计中，机柜底部可以提供最多达65%面积区域用于地板下方线缆的走线，其机柜顶部装有13块大小不等的挡板可以方便拆卸，可以提供40%的区域面积供上走线系统进线。这种上下走线相结合，使得走线更加完美，制冷效率大大提高。

　　将欲取之，必先予之

　　最近经常看到有关刀片服务器的统计数据，按照Gartner最新的数据，2007年全球服务器销售刀片服务器上升了19.9%，其中，惠普占41.7%，IBM次之，为30.9%，两家公司收入总和近78%。我没有看到有关国内的统计数据，但是可以肯定远不止如此。

　　刀片服务器这种快速增长从哪里来？或者说，如何加快刀片服务器的推广和应用？在我看来，所谓将欲取之，必先予之，结合目前国内的现状，我认为推广刀片服务器也应该从应用环境入手，这也是本期选题的出发点。

　　从目前国内刀片服务器的应用状况看，高性能计算、网络游戏是刀片服务器的主要买主，以石油勘探为例，其计算密集的特点与刀片服务器非常吻合，而网络游戏，则更可以体现刀片服务器快速部署的特性。但是在这些用户中，他们究竟采用了什么样的散热方式？效率如何？方式选择是否得当？也许这不是用户关注的焦点，也不是刀片服务器自身的问题，但是从专业的角度，应该帮助用户做出合理的选择，理应引起足够的重视。