深入剖析IBM X5架构与eX5服务器

IBM：System x产品线对我们很重要

前不久我刚写过一篇《好马更需配好鞍：写在IBM X5架构发布之前》来展望X5架构，几天之后，就在3月3日，IBM X5架构以及基于它而诞生的三款全新eX5服务器就向世界揭开了神秘的面纱。有关于IBM x86服务器的X架构在之前的那篇文章已有交待，而X5发布会的盛况，亦有报道，因此今天我们也就将精力全部放在X5架构与eX5服务器的深入介绍上。

为了让中国的媒体与客户更进一步的了解X5架构与eX5服务器的设计理念与竞争优势，在发布会之后，IBM方面也安排了相关的高层与媒体交流，交流的内容我们也将有针对性的在下文不同地方予以体现。

IBM大中华区系统科技实验室主任Sidney S. Chow先生，IBM系统与科技部System x全球总经理Adalio Sanchez先生，IBM系统与科技部大中华区System x总经理孙丹女士在X5发布会之后接受了媒体的采访

就在一年前，英特尔推出革命性的双插槽Nehalem-EP处理器（至强5500）之时，有关IBM的System x服务器部门将被出售或是裁减的传闻就一直不断，如今一年过去了，IBM又再次隆重推出了X5架构，相信已经没有人怀疑IBM对System x家族的信心，IBM系统与科技部System x全球总经理Adalio Sanchez先生也表示，System x占据了IBM服务器销售收入的53%，出货量的96%，所以对于IBM极为重要。虽然IBM也有UNIX小型机System p业务，但在Adalio Sanchez看来并不冲突，反而还是IBM的优势所在。“UNIX服务器全球的销售额在160-170亿美元，而x86服务器则大约是240亿美元，IBM在UNIX市场占据了约40%的份额，所以完全可以为不同的用户提供相关对应的解决方案，而有些应用在UNIX上表现好一些，有些应用在x86上的速度更快一些，所以两者并不是谁取代谁的关系，”的确，POWER7发布之后，IBM又推出了X5，两块市场可谓齐头并进。

IBM eX5服务器全家福，由上至下分别是双插槽HX5刀片服务器、双插槽3690X5服务器、最高端的4插槽3850X5服务器

对于开发X5架构的初衷，Adalio Sanchez表示，“根据IBM的调查有85%的x86服务器未能充分的利用起来，还处在空闲的状态，这对于整个世界的IT是一个很大的问题，包括了能耗、空间占用以及维护成本等等，这其中有很大的原因在于服务器的内存资源不够，当需要更多的内存时，就只能购买新的服务器，而如果要做服务器的整合，以简化基本架构，则要面对虚拟化的问题，它对内存的需求更为明显，所以我们需要对它们进行充分的整合，这就涉及到了虚拟化问题，可是虚拟化能力与内存容量关系更密切，所以最大限度的扩展内存容量就是X5架构的最大目的。”

在了解完大体的市场与研发背景之后，我们就来仔细看看X5架构有何独门绝技！

既然Adalio Sanchez已经明确表示，X5架构的首要目标就是内存，所以其最大的创新也就是与内存相关的MAX5加速器，而纵观X架构的发展史，我们也能发现其在内存上所做的文章是最多的。

MAX5加速器简介，它共有两种，一种是给机架式服务器使用（上），下方中笔者称之为MAX5-R，一种是给刀片式服务器使用（下），下文中笔者称之为MAX5-B

MAX5加速器是X5架构中最具革命性的创新，充分利用了英特尔新一代的QPI总线的特性，以一种巧妙的方式为服务器平台扩展了内存。这么说可能有些让人容易糊涂，我们可以先看看Nehalem-EX服务器的设计，再来看看MAX5又是如何为其提供额外的内存扩展能力的。

标准的4插槽Nehalem-EX服务器平台设计

在英特尔的给出的标准的4插槽Nehalem-EX服务器设计中，4颗Nehalem-EX处理器点对点全互联，每两颗处理器连接I/O Hub（英特尔的代号为“Boxboro”芯片组），每颗处理器通过4颗可扩展内存缓冲芯片（SMB，Scalable Memory Buffer）控制4路DDR3内存通道，每路DDR3内存最多支持4条DIMM，所以一颗CPU可配16条DIMM，4插槽时就是64条DIMM，这就是4插槽Nehalem-EX服务器的标准配置，而IBM的X5架构就是要打破这一限制。

IBM的Nehalem-EX服务器也仍然是使用英特尔的Boxboro芯片组与SMB来搭建，就服务器本身来讲是标准的Nehalem-EX服务器设计，在这其中并没有采用自己的芯片组，而在MAX5加速器上则采用了自己的芯片，IBM称之为eX5，我认为这是X5架构的最重要的精髓所在。

供X5刀片服务器HX5所使用的MAX5-B，红圈部分为IBM自己开发的eX5芯片，主板上的小块的银色散热片下面是SMB芯片，每颗负责4条DIMM，共6颗，所以刀片用MAX5的内存扩展能力最大为24条DIMM，按每条DIMM的容量8GB计算，为192GB，比现有的双插槽至强5500服务器还要多

供X5机架式服务器3690X5和3850X5所使用的MAX5-R，绕圈部分为IBM自己开发的eX5芯片，主板上有8颗SMB芯片，总扩展能力为32条DIMM，按每条8GB计算，合256GB

机架式MAX5-R的结构，可以看出它留有QPI端口，在使用时，它通过外连专用的QPI电缆与服务器相连，由此就可以知道它如何为服务器扩展内存了吧

3850X5服务器与MAX5-R的连接示意图，与上面的那个标准的4插槽Nehalem-EX服务器的架构图相比较就可以看出其中的玄机了

随着服务器所使用的CPU的性能不断提升，人们越来越感觉到周边数据设备的I/O带宽已经成为了服务器整体性能提升的瓶颈，以前人关注到了内存带宽的不足，当内存通过自身技术的改进与多通道技术的弥补而大大减轻了瓶颈效应之后，I/O带宽的局限性也就再次外移，首当其冲的就是存储系统。传统的硬盘驱动器由于自身的进步缓慢，必须采取“人海战术”，通过RAID方式来集群作战以满足应用的需求。所以，当这次英特尔推出更高性能的8核心Nehalem-EX之后，面向存储I/O的压力也变得更为巨大。

IBM以一个大中型企业的IT应用为例，共用30个数据库（比如ERP、CRM、HR等数据库），每个数据库规格100GB，如果要满足每个数据库15000IOPS的访问负载，则需要巨大的存储系统予以支撑，而它所占用的成本也是巨大的

在eX5服务器上IBM引入了eXFlash固态盘（SSD）技术，以3850X5为例，它采用8块高性能的SSD（RAID 5模式），根据IBM的测算，性能相当于800块传统硬盘，与800块硬盘的存储系统相比，成本节省97%，而功耗也只有1%

从某种角度上讲，eXFlash并不像MAX5那样具有创新性，然而从中也能看出SSD在服务器中的地位也将越来越重要，在很多应用中，对容量的需求远没有对性能的需求强烈，而当新一代高性能处理器推出之后，这种反差也将更加强烈，因此eXFlash也完全是顺应潮流之举。

IBM表示，eXFlash包括了SSD与控制器两大部分，SSD采用了高寿命的SLC型产品，而控制器也进行了算法的优化，以最大限度的在保证高性能的同时保证eXFlash系统的可用性和可靠性。

eX5服务器之所以要通过MAX5去扩展内存，就是为了要能提供更为强大的虚拟化性能，而虚拟化发展至今，瓶颈也已经不再是CPU与内存，而是存储与网络。即使已经有了eXFlash解决了存储方面的问题，那么在网络呢？那就是具备虚拟化I/O能力的网卡（NIC）。

此次eX5服务器采用了著名的企业级HBA/NIC厂商Emulex所出品的虚拟矩阵适配器（VFA，Virtual Fabric Adapter），它采用了Emulex的OneConnect统一聚合网络适配器架构（UCNA，Universal Converged Network Adapter），在提供标准的传统以太网连接的同时还具备有虚拟网卡（vNIC）与未来聚合光纤通道与iSCSI传输的能力。

通过I/O虚拟化，NIC可以将数据通道虚拟为4个，应对不同的应用

图中右上角就是两款用于eX5服务器的VFA（上方用于机架服务器，下方用于刀片服务器），为双10Gb/E端口设计，可虚拟出8个NIC或聚合网卡（CNA），再配合BLADE Networks Technologies（BNT）的交换机为不同的应用（如数据库、HR等）提供虚拟网络通道

从上至下的三幅图可以很好的说明Emulex的VFA技术，传输的双端口10Gb NIC只能提供固定的两条10Gb的以太网连接，可是这种带宽对于很多应用来说是浪费的，而通过以太网端口虚拟化设计，每个物理端口可以虚拟出4个端口，即vNIC，而每个vNIC的带宽是可根据应用需求调整的。在未来，Emulex的VFA还将具备FCoE与iSCSI聚合传输的能力（届时就是vCNA了），以最大限度的优化利用10Gb带宽，而这也是于虚拟端口分不开的

Emulex的VFA除了用于eX5服务器之外，还用于其他4款IBM已经发布或即将发布的服务器，分别是2U的x3650 M3（采用6核心至强5600处理器）,1U的x3550 M3（采用6核心至强5600处理器）以及HS22与HS22V刀片服务器。

虽然在发布会上，IBM将这一特点列为创新之五，但我觉得有必要把它提前来讲，这也有助于理解第五个创新——OnForever可靠性。

前面讲过，由于MAX5的外连QPI的设计，这使得eX5服务器也同时具备了通过外连QPI电缆以进行级联扩展/组合的能力，而且还可以加入MAX5扩展，这就是FlexNode。

eX5服务器自身扩展和与MAX5组合时扩展的级联架构

通过QPI电缆进行互联，HX5刀片可以扩展成4插槽刀片，3690X5也可以扩展成4插槽的机架服务器，而3850X5则可扩展成8插槽的系统，而内存容量也将成倍增加，与其他厂商标准化设计的Nehalem-EX服务器相比，内存容量最多可达对手的两倍，如果以当前最高水平的单条DIMM 16GB容量计算，两台带有MAX5-R内存扩展的3850X5的级联之后的8插槽系统即可获得高达3TB的内存容量

FlexNode可以让用户很灵活的使用双节点配置，从而带来很多相应的好处

eX5服务器不仅可以自身进行级联，即使加入MAX5也没有问题。现在我们可以再回想一下前面所讲到的MAX5的内存扩展设计，在MAX5-R的结构图中，我们也可以看到它的后端还有一组EXA接口，这个端口的作用就是承上启下，连接另一个MAX5加速器。

俗话说合久必分，分久必合，什么时候会分呢？肯定是一方有问题了，什么时候会合呢？当然是两方很要好的时候，那么对于eX5的FlexNode的级联扩展设计来说，也是如此，既然能合在一起，也就能分得开，而且这一切是自动的，从而使eX5服务器在获得级联扩展能力的同时，也具备了节点容错能力。而与其他的容错技术加在一起，就具备了eX5服务器的最后一个创新之处——OnForever可靠性。

通过FlexNode技术的介绍，我们不难理解2插槽+2插槽变4插槽的二合一的原理，那么反过来也一样，通过专用的固件与管理软件的配合，FlexNode也具备了Node FailOver的能力，当级联的两个节点其中一个有问题时，或是应用的需求要让级联的节点分开时，可以再一分为二，将有故障的节点隔离，或是变成两个独立的节点，这种灵活的设计显然增加了级联系统的可靠性。

此外，eX5还具备很多其他的容错技术，包括ChipKill的内存校验功能（可应对数据位错误）、Memory ProteXion内存保护能力（可应对单颗内存芯片失效）、内存镜像功能（可应对单块内存插失效）和内存擦洗功能（定期的内存可靠性检测），另外还有预测性的故障警报功能，可覆盖CPU、内存、硬盘/SSD、风扇以及电源、QPI电缆等关键设备，再配合Nehalem-EX自己的容错技术，以最大限度的保证eX5服务器的高RAS特性。

在介绍完X5架构的技术细节之后，我们来看看eX5服务器的具体设计。需要强调的是，本次发布只是X5架构，eX5服务器的细节并没有谈太多，在英特尔于3月底发布Nehalem-EX处理器之后，IBM将会正式发布新一代的X5服务器，届时才会有更为具体的规格公布。

3850X5的基本特点

3850X5服务器的基本结构

秉承免工具拆解设计，前面板很容易拆下来，之后就是两个薄型的散热风扇，它们是为内存散热准备的

4颗Nehalem-EX处理器一字排开，前面是8个内存插卡，可两两互为内存镜像

内存插卡特写，每个插卡配有两个SMB，共8条DIMM

内存卡上的内存特写，为美光公司的2GB DDR3-1066内存条

取下一个CPU散热器，可以看到Nehalem-EX处理器

在CPU之后是两个1975W的电源，电源风扇也起到了为CPU散热的作用

注意电源下方的可伸缩金手指插口，这是电源热挺拔的设计重点

当提起电源扳手后，金手指插口收起，就可以从后方拔出电源了

机箱的后半段（电源+I/O仓）也是免工具折解，可以整体的拆出来

3850X5所使用的Emulex VFA

3850X+MAX5-R后情形，就像在底下加了一台1U的服务器

3850X5做级联时的架构图，可以看出级联也是通过4路QPI来完成的，而在没有级联或是接入MAX5-R时，4颗Nehalem-EX做到了全互联

IBM从2001年推出第一代X架构之日起，其4插槽的英特尔至强服务器就一直具备可扩展至16插槽的能力，而到了第五代X架构时，只推出了最高8插槽的扩展设计，难道是遇到了什么难题了吗？按理有了更为方便的QPI点对点总线技术，扩展至32路都是没有问题的。对此，Adalio Sanchez表示借助于MAX5，IBM的确有能力扩展至更高插槽数量的Nehalem-EX服务器，但目前看来似乎还没有这个必要，因为8插槽的Nehalem-EX已经非常强大了，至于是否需要进一步向上扩展，要看市场的需求做决定。

3690X5是一款双插槽服务器，这也是IBM X架构首次引入到双插槽的系统中（以往都是4插槽系统），通过Nehalem-EX的高性能和高RAS性能来打造顶级的双插槽服务器，IBM甚至宣称，可以通过MAX5-R来使至强6500系列（只有两路QPI的Nehalem-EX）也具备级联扩展至4插槽的能力。

3690X5的基本特点

3690X5的结构图

3690X5的一个设计亮点在于双层的内存插板设计，一层有4颗SMB共16条DIMM，总共32条DIMM

上层的内存插板可以很方便的取下

下层的内存插板

3690X5内存插板特写

3690X5的级联设计，在非级联或MAX5-R扩展时，可以看出两颗Nehalem-EX是双互联架构（有两条QPI互联），而做级联后则是标准的全互联架构

与3690X5一样，这次IBM也首次在刀片服务器上引入了X架构了，从而也让HX5刀片具备与众不同的能力，大大提高了其在刀片市场上的竞争实力。

HX5刀片的基本特点

HX5刀片的基本结构，图中显示的是两个刀片级联的状态

HX5刀片（左）与MAX5-B背板（右），HX5处理器上方的缺口就是QPI扩展接口

HX5的两个I/O插槽，可以用来插Emulex的VFA（CFFh）

HX5的级联架构图，与3690X5基本一致

IBM预计会在英特尔发布Nehalem-EX之后立即正式发布eX5服务器，届时我们将会做进一步的详细介绍，敬请留意！