整体设计的提升：初品戴尔PowerEdge R910服务器

PowerEdge R910——全功能的Intel Xeon 7500平台

今年3月31日，Intel按照惯例在这个日子发布了新一代的Xeon 7500系列（代号：Nehalem-EX）服务器CPU及相关平台设计（详情参见：“英特尔至强处理器7500系列发布会”专题）。与去年同期推出DP（双路）平台的Xeon 5500不同的是，Intel此次选择了提前公布5500处理器的下一代产品Xeon 5600系列（最大的变化是增加了6核），而把重头戏留在了后面。Xeon 7000系列作为Intel针对MP（四路或以上）服务器平台的产品，其更新速度相对保守一些，上一代的Xeon 7400还属于传统的使用前端总线连接CPU和北桥芯片的设计。此次发布的Xeon 7500作为转向Nehalem架构的第一代产品，在继承了双路Nehalem-EP平台的优点之外又有创新。除了在CPU中整合内存控制器、使用QPI互连架构之外，还加入了最多8个处理器核心和专用的内存缓冲芯片等设计，将x86平台单系统的性能、扩展性和可靠性再次提升到一个新的高度。

紧接下来的4月初，戴尔在北京公布了新一代的PowerEdge M/R系列与全新的C系列服务器。其中包括了使用Intel Xeon 7500平台的PowerEdge R810（2U）、R910（4U）机架和M910刀片式服务器。除了Intel的标准设计之外，Dell还增加了一些自己的特色功能：比如R810和M910上使用的FlexMemory Bridge技术，在只安装2颗处理器（包括仅支持双路配置的Xeon 6500系列）的情况下就能够访问全部32个内存插槽；戴尔生命周期控制器（Lifecycle Controller）嵌入式服务器管理功能；以及对虚拟机管理器（Hypervisor）实现冗余保护的内置双SD卡模块等。

PowerEdge R910作为一款4U高度的四路Xeon 7500服务器，相对于2U的R810具有更好的扩展性。R910的内存部分完全按照Intel建议的标准设计，最多能够提供64个DDR3内存插槽并支持1TB的最大容量，同时拥有最佳的内存性能。此外，它还可选16块2.5英寸（SFF）6Gbps（向下兼容3Gbps）SAS热插拔驱动器安装位，支持传统SAS、SATA（只支持一块，且不能与SAS混用）硬盘或者SSD（固态硬盘）。

关于Xeon 7500平台的技术细节和性能水平，ZDNet服务器频道之前已经有过多篇相关报道，本文中就不再作为重点讨论。下面要介绍的是近期收到戴尔送测的PowerEdge R910服务器，首先我们通过对它的部件拆解来剖析其硬件设计，之后有机会将实际体验戴尔生命周期控制器及相关的管理功能，过一段时间还有性能测试的部分。

戴尔PowerEdge R910服务器

在戴尔PowerEdge R910服务器前面板左上方有一小块突出的LCD液晶板和几个按钮，其实它也是生命周期控制器的一部分。当我们接上电源之后，还未开机时液晶板已经开始工作，出场默认显示的内容是这台R910的Service Tag编号（熟悉Dell产品的用户对Service Tag肯定不会陌生，它就是当前产品的服务/支持代码）。此外我们还能选择显示机箱内温度、当前电源输出功率等信息，并可以查看和设置DRAC（戴尔远程访问控制器）即嵌入式管理的的IP地址。当出现机箱盖打开、电源供应状态异常等情况时，LCD的背光会很快由蓝色变为黄色，此时可以在这里看到相应的诊断信息，当故障排除后显示状态又会恢复正常。

我们手头这台PowerEdge R910配置了8块2.5英寸15000转6Gbps SAS硬盘，单盘容量为147GB。关于RAID卡、背板等存储子系统相关的细节我们会在下文中介绍。在硬盘上方有一个薄型（slim）笔记本光驱的安装位，不过由于它需要一条专用的电源转接线，建议有这方面要求的用户还是从Dell订购相关套件。不过在服务器上使用光驱的机会并不多（主要是安装系统和软件），而且R910经过验证能够较好地兼容各种USB外置光存储设备。

从后面看，右边是R910服务器满配的4个电源模块，这里的冗余状态是2+2而不是3+1（我们在后面会谈到R910支持的不同电源配置方式）。其余位置布满了大量的散热孔，因为整个系统的空气流动方向是从前到后，散热孔的面积关系到热量排出的效果。在左侧的VGA显示接口上方有一排I/O接口，从下到上依次为：2个SFP+光纤万兆以太网（10GbE）接口、2个RJ45千兆网口、1个专用管理网口、SD卡插口和最上方的2个USB。它们都是由戴尔专门的I/O Riser扩展卡提供，下文中我们也会专门介绍这块卡。

打开上盖之后，可以看到PowerEdge R910靠近前面的大块空间被内存扩展板占据了（这时还看不到CPU的位置），往后依次是系统散热风扇、电源和扩展卡所在的区域。R910一共支持8个内存扩展板，我们手头的这台样机安装了4块。

拆下内存扩展板和空闲位置上的导风板之后，我们看到了4个Intel Xeon 7500处理器上方的散热片，它们紧挨着后面的系统风扇。由于内存控制器集成在CPU内部，主板上的8个内存扩展板插槽分别着对应4颗CPU，也就是说只有在安装了处理器的情况下才能使用相邻位置的2个内存扩展板。接下来我们将用手提起系统风扇架。

这就是其中一块去掉了活动塑料上盖之后的R910服务器内存扩展板。上面插满了8条内存，还可以看到供电电路和2个覆盖有散热片的Intel内存缓冲芯片，每颗芯片分别连接Xeon 7500处理器的一条Scalable Memory Interconnects（SMI，可扩展内存互联）通道，同时控制着4条内存。下面是R910服务器的内存子系统结构图。

我们以前已经介绍过，每个Xeon 7500 CPU拥有2个内存控制器，而每个内存控制器又能够连接2个内存缓冲（Memory Buffer）芯片，相当于一共4个内存通道，四颗CPU加在一起就是16个通道。也就是说只有插满8个内存板时才能够安装64条内存并拥有相对更好的内存性能（每个CPU带宽34.1GB/s）。

上图就是代号为7500MB的内存缓冲芯片，它是Xeon 7500平台的一个重要组成部分。这颗芯片由以前的FBD（Full Buffered DIMM，全缓冲内存）设计发展而来。Intel从Xeon 5000/7000平台开始引入全缓冲内存架构，即在每条FBD内存的中间位置都有一颗AMB缓存芯片，芯片组北桥中的内存控制器与每个通道的第一条内存直接通讯，而这条内存再通过AMB与通道内的其它内存串行连接。当时这样做是为了增加内存扩展能力、便于主板布线的目的，但也带来了AMB芯片成本和发热较大的问题。一直到双路的Xeon 5500平台转向DDR3内存，由于CPU整合内存控制器增强了扩展能力，开始不再使用FBD的设计。然而对于多路（MP）平台来说，一些虚拟机或者关键应用需要更大的内存容量，于是在Xeon 7500平台上就出现了型号为7500MB的内存缓冲芯片。它连接在处理器的IMC（整合内存控制器）和标准DDR3内存之间，相当于将以前4条FBD内存上的AMB芯片整合并分离出来。这样就不需要更改现有的内存条设计，也不会给内存散热增加负担（只要解决自身的散热就可以）。

来自三星的4GB DDR3 1066MHz Registered（寄存器式）ECC内存，颗粒配置方式为4Rank × 8。这台PowerEdge R910服务器的4块内存扩展板上都安装满了8条同样的内存，总共的容量为128GB。虽然我们以前测试过的系统中有支持更多内存的，但在实际配置的内存容量上戴尔R910是截至目前最大的一台。如果想要达到1TB的配置，需要使用8个内存扩展板和单条16GB内存。

位于系统中部的散热风扇架上一共安装了6个热插拔风扇，前后相邻的2个互为冗余。它们的供电都来自主板。

戴尔R910服务器使用了日本厂商Nidec 12cm大功率风扇，每个风扇的额定电流达到了3.0A（功率36W），产生的风量为250CFM（立方英尺/分钟）。整个风扇架刚开机时产生的噪音比较大，不过由于良好的温控设计，在工作负载不大的正常情况下，R910风扇的噪音能够下降到一个相当安静的水平。

拆下散热风扇架之后的主板，这时可以看到临近CPU的位置整齐排列的供电模块（VRM）。另外我们还发现在主板上靠近机箱两侧的位置各有一条立起的红色金属桥接板，从临近电源的位置一直引到内存扩展板之间。它们的作用应该是传输内存扩展板所需的+12V供电，由于系统支持的内存数量众多，这部分就成了机箱中的一个耗电大户。由单独的桥接板而不是直接在主板PCB上供电能够增大导线的横截面积，有效降低电阻并减少发热。

PowerEdge R910主板上的芯片组和PCI Express扩展槽。2个覆盖着黑色散热片的芯片就是Intel 7500芯片组的IOH（I/O Hub），中间小一些那个带有Intel logo的是ICH 10南桥芯片。戴尔R910服务器除了存储控制卡（HBA或RAID卡，最靠右边的那块）专用的x8 PCIe Gen2插槽之外，一共提供了7～10个可用的扩展槽。其中包括2个x4 PCIe（有一个为Gen1）、4个x8 PCIe Gen2和1个x16 PCIe Gen2（或4个x4 PCIe Gen2）。上图中机箱金属后板提起（可拆卸）的部分就是安装可选的将x16 PCIe插槽转换为4个横插PCIe（半高）转接卡的位置，参见下面的示意图。在所有空闲插槽右边是Dell专用的I/O Riser卡，在它背面的3个蓝色塑料卡子是用于固定文章开头处提到的“双SD卡模块”的，这台样机中没有配带这个选件，大家可以参考以前的图片。

戴尔PowerEdge R910 PCI Express扩展槽示意图

Intel Xeon 7500平台结构简图（仅供参考）

根据Intel 7500平台的结构图，每个Xeon 7500系列CPU拥有4条QPI连接，其中3条连接另外3个处理器，余下1条连接到2颗IOH中的一个。而每颗IOH芯片则提供了2条QPI，分别连接到2个CPU。这样的设计我们在以前的文章中已经介绍过，由于所有的PCI Express总线连接都由IOH提供，那么至少需要安装2颗CPU才能使用所有的PCIe插槽。

双万兆网口的I/O Riser卡和戴尔生命周期控制器

上图中的Nuvoton WPCM450DA0BX芯片是一颗iBMC（Integrated Baseboard Management Controller，整合基板管理控制器）——Dell生命周期控制器的基础，它里面还集成了Martox G200 2D图形核心、Super I/O（在这里未使用）和KVM重定向等功能。关于由BMC展开的服务器管理功能，我们将在后续的文章中详细讨论。Nuvoton（新唐科技）是台湾华邦电子拆分出来的全资子公司，所以我们以前在相同型号芯片上见到Winbond的字样就不奇怪了。在BMC的上方有一颗Hynix（海力士）128MB DDR2内存芯片，其中包含了8MB显示内存，以及嵌入式管理运行时使用的内存。根据资料显示，R910的BMC子系统中还有1GB NAND闪存，不过我们在主板正面没有找到对应的芯片，估计可能是位于主板背面。

这块就是戴尔服务器专用的I/O Riser卡，它提供了2个可以插入SFP+光纤收发器模块的万兆以太网（10GbE）接口、2个RJ45千兆网口、1个专用管理网口、SD卡插口和2个USB。在I/O Riser卡上面还插着一块由蓝色塑料件固定的子卡（iDRAC6 Enterprise），其表面被黑色的绝缘贴纸所覆盖。我们注意到I/O Riser卡的金手指和插槽比标准的PCI-E x16更长，其中较宽的几条金手指应该是用于供电，进行结构分析之后我们将知道它们都传输了什么信号。

PowerEdge R910共有2款I/O Riser卡可选：1Gb I/O Riser（4×千兆）和10Gb I/O Riser（2×千兆+2×万兆），我们手上这块显然是后者。以前在戴尔服务器的设计中更多采用的是通用部件，即主板集成网卡并可选标准的独立网卡，而惠普等厂商在中高端服务器上经常会有一些专有的设计，比如将BMC、Super I/O、显卡甚至SAS RoC（RAID on Chip）都集成到一块扩展卡上，作为系统必须的一个组件。本次Dell仍然把BMC、Super I/O和VGA等留在了主板上，而将网卡和部分管理功能分离了出来。如果拆下R910的I/O Riser卡开机，服务器将无法开始自检，可见它的重要性。

上图就是拆下来的iDRAC6 Enterprise（戴尔远程访问控制器企业版）子卡，它的作用是配合主板上的BMC芯片实现生命周期控制器相关的管理功能。从硬件上来看iDRAC6 Enterprise提供了一个管理专用的网口，以及“vFlash” SD卡插槽（可作为一个预配置的存储设备）。在它的背面，也就是黑色贴纸的底下有以太网控制芯片等逻辑单元。

戴尔R910服务器I/O Riser卡上的3颗网卡芯片，根据提供的功能可以将它们划分为2部分：左侧的Broadcom BCM5709C是一颗双端口千兆以太网控制芯片；2个10Gb（万兆）网口则是由右下方的BCM57711 Gigabit MAC（媒介访问控制层）和另外一颗BCM8727 SFP+ PHY（物理层）芯片共同实现。BCM5709C的总线接口为x4 PCIe，而BCM57711芯片则因为需要较大的带宽而使用了x8 PCIe Gen2，这样I/O Riser卡的金手指中就包含了12条PCIe信道，此外还有将USB从主板引出和连接iDRAC6 Enterprise子卡的信号线。

6Gbps SAS RAID卡、硬盘和带有扩展器的背板

拆下I/O Riser卡之后，就剩下一块Dell PERC H700 RAID卡了。H700通过2个miniSAS SFF-8087连接器提供了8个内部6Gbps SAS硬盘接口，上图中除了2条SAS线缆之外还有另外一个较小的插头，是用于连接BBU（备份电池单元）的。我们看到这块RAID卡完全通过机箱上的塑料支架来固定，同时在这个位置上也不能安装带有金属档片和外部接口的存储控制卡。

在戴尔R910靠近机箱前面板的位置，从RAID卡引出的2条miniSAS线缆连接到同一块硬盘热插拔背板上，不远处还固定有一块长方形的BBU锂电池。将BBU从RAID卡上转移到这里可能是为了避免由于环境因素而导致的电池漏液等问题影响到RAID卡和主板。

Dell PERC H700 6Gbps SAS RAID卡

Dell PERC H700 RAID卡的规格与我们以前测试过的LSI MegaRAID SAS 9260-8i差不多，它们都使用了相同的LSISAS2108 ROC (RAID on Chip)芯片。不一样之处在于9260-8i是板载缓存的半高式（low profile）PCB设计；而PERC H700则使用了全高PCB（带有Dell logo，可能是自己设计的，也可能委托LSI），512MB的缓存模块可以更换并支持缓存/BBU的一体化设计。此外，这块H700还能够支持自加密驱动器（SED），就是LSI所说的SafeStore功能。至于LSI自己的6Gb/s SAS/SATA系列RAID卡，起初只有结尾带有DE的型号（如：9260DE-8i）才能够支持SafeStore，不过最近LSI也推出了通过单独购买License来激活MegaRAID系列产品高级软件功能的方式。

除了H700 RAID卡之外，PowerEdge R910还可以选择提供4个6Gbps SAS内部端口的HBA卡PERC H200（只支持4个硬盘驱动器）、带有8个外部端口的PERC H800 RAID卡、6Gbps SAS HBA等存储控制器，当然后2者需要安装在其它的PCIe插槽上。

容量为147GB的2.5英寸15000转6Gbps SAS硬盘，型号是：MBE2147RC，由东芝（即收购自富士通的企业级硬盘产品线）OEM给戴尔。

我们将戴尔R910服务器上的热插拔背板拆卸下来，它提供了16个SAS/SATA驱动器接口。作为一名持续关注企业存储的编辑，笔者对这块背板还是有些兴趣的。

位于背板中央的LSISAS2X24扩展器（Expander）芯片。这是一个符合SAS 2.0规范的24端口扩展器，其中8个6Gbps SAS端口上行连接到RAID卡，余下的16个用于连接硬盘驱动器。该背板的设计让我们想起了“6Gbps拉开SAS 2.0时代大幕：SAS 6Gbps产品横评”一文中Supermicro机箱使用的SAS扩展器模块。在LSISAS2X24芯片不远处还有一颗闪存芯片，它保存的是扩展器的固件（Firmware），用户可以像对HBA、RAID卡那样通过升级程序来更新它。

除了这块支持16个驱动器的背板之外，PowerEdge R910还可选择另外一款只提供4个2.5英寸SAS驱动器接口的背板（不带扩展器），用来配合PERC H200这样的4端口HBA卡使用较为合适。

这台戴尔R910使用的电源模块额定功率为1100W。根据不同配置在耗电上的差别，R910可选4个1100W（高输出）或者750W（智能节电）电源模块。上图中的1100W模块只提供一路+12V主输出到主板，而它的电流高达89.6A，此外另有2.0A的+12Vsb待机电流输出。这款电源的制造商Astec是Emerson（艾默生）公司旗下的电源品牌。

我们知道一般ATX/EPS 12V电源设计的待机电流都是+5Vsb，而在有的服务器电源上也出现过使用+3.3Vsb的，那么为什么会有不同的电压标准呢？我们认为这与PCIe扩展槽的电源规范有关。由于PCIe插槽只支持+3.3V和+12V两种电压，因此如果是提供+5Vsb的电源，在待机状态下向PCIe设备（如支持远程唤醒的网卡）供电需要通过主板上的DC-DC电路转换为+3.3V。这样在需要的电流比较大时就会出现一定损耗，如果替换为+12V直接输出到设备可以减少在主板上传输和转换的功率损失（与CPU、显卡使用+12V供电的原理相似）。下面我们要谈到的就和这个话题有关。

上表列出了PowerEdge R910服务器在使用不同I/O Riser卡时的电源冗余模式。起初我们没有觉得I/O Riser卡是个耗电大户，怎么会影响到电源模块的配置呢？当看过之后发现如果安装了10Gb I/O Riser卡（就是本文介绍的带有2个万兆网口那种），只有2+2（4个模块同时工作）一种冗余电源配置方式；而若使用1Gb I/O Riser卡还可以有1+1（有限负载）和2+1两种冗余模式。此外10Gb I/O卡在1+0非冗余配置的情况下不能带有活动的SFP+端口（即万兆网口不能使用）。由此可见10Gb网卡的电源消耗确实比较大，无怪Intel在自己的万兆网卡上都加了散热风扇，可是以每个模块750/1100W的输出功率来看这点增加似乎算不了什么。

于是我们就想到了待机（Standby）模式。前面提到过单个R910电源模块可以提供2.0A的+12Vsb输出，也就是24W的功率，这个水平很可能无法满足10Gb I/O Riser卡的需求，另外+12Vsb除了它还要供应主板上的其它设备。那么在这种情况下2个电源模块就是最小配置了，从理论上来说2+1的冗余模式对于10Gb I/O卡应该也是可行的，我们理解戴尔在这里要求2+2是为了实现更大的冗余度，就好比磁盘阵列RAID 6的“N+2”那样。由此来看，整个系统的电源额定输出功率应该是1500/2200W（根据使用750还是1100W的模块）。

这一点让笔者回想起以前接触过的有些服务器主板，对安装的网卡数量有限制，同样是由于电源的+5Vsb待机输出功率有限所致。

当我们将4个电源模块都从机箱上拔出之后，电源转接板也可以很容易的取下来。它的金手指设计比较独特，其中2块宽大且连成片的是向主板输出+12V，而左侧那部分稍长的则包括了+12Vsb和电源管理等方面的信号。在它左上方那个黑色的按钮传感器是用于检测PowerEdge R910机箱盖开启/闭合状态的。

Intel Xeon 7500处理器支持、总结

再来看看CPU，由于本文的主要重点并不是介绍Intel Xeon 7500平台，因此按照拆解的顺序CPU最后出场。这台戴尔R910服务器安装了4个Xeon E7540处理器，每颗拥有6核心/12线程，2.0GHz主频、18MB三级缓存，QPI总线频率为6.4GT/s。

上面的图表我们曾多次出示给大家。PowerEdge R910可支持全系列的Intel Xeon 7500处理器，那么除去3款6500系列CPU之外，E7540的规格在这里面只能算是中等。比如最多的8个核心、24MB L3 Cache、3～5个增量的Turbo boost（睿频）功能都不具备，不过它的功耗也没有达到最高的130W。

剩下主板和3个CPU（及散热器）的戴尔R910服务器平台，在取下CPU的位置露出一个LGA 1567插座。我们的拆解工作到此就告一段落了，由于采用了模块化设计，其实进一步拆下主板也是很容易的。不过我们关心的不只是R910的硬件结构，还有它的管理功能、性能等方面，这些就留给稍后的文章了。

小结

本文主要是从硬件角度来分析戴尔PowerEdge R910的设计。记得在数年前Dell的MP（4处理器）服务器还是直接OEM Intel的原装平台，不过随着高性能计算和虚拟化应用的发展，四路或者更多CPU的服务器销量呈现不断增长的趋势，我们看到戴尔对该产品线投入了更多的研发精力，其中还有采用AMD平台的机型。在Intel Xeon 7500的参考设计的基础上，PowerEdge R910除了整体上采用便于升级/维护的模块化结构之外，差不多在各个子系统中都加入了或多或少的自主（或由Dell主导的）设计，特别是其专用的I/O Riser卡和生命周期控制器（嵌入式管理模块）。可以说戴尔在这个级别的服务器产品上，与惠普（Proliant DL580系列）、IBM（System x3850）等擅长高端领域的传统厂商之间差距有所减小，而不像以往那样只靠价格取胜了。当然，类似于IBM ex5服务器的内存扩展增强设计这样的独特技术Dell目前还是不具备的。

近年来，由于x86架构CPU核心不断增加、整体性能以及可靠性的提升，相对封闭的RISC+UNIX架构小型机在大型关键应用中的所占的比例呈现不断下滑的趋势，已经有一部分用户开始转向x86平台。这个领域中原来的3个巨头，IBM、惠普和Sun都拥有自己专门的CPU技术：如今IBM新发布的POWER7在上一代基础上继续加强；惠普和Intel合作的Itanium（安腾）系列虽然也推出了最新的9300，不过感觉上其更多关注的是维系现有用户群的后续需求；而Sun被Oracle收购之后，其UltraSPARC架构处理器由于不被看好可能会放弃，现在已经有些厂商在争抢这部分客户，欲将他们的应用迁移至自己的UNIX或者开放式x86+Linux平台。使用Intel Xeon 7500架构的戴尔PowerEdge R910就是其中的代表。

在不同厂商硬件设计水平接近的情况下，服务器管理功能的强弱则更多体现出软件上的实力，这部分做得好可以大大简化安装部署和后期维护等方面的工作。因此我们比较关注R910服务器上的“生命周期控制器”管理功能，至于它是否如戴尔所说的那样强大？我们有机会再为大家揭开谜底吧！