IBM eX5服务器之全方位解析

X5架构创新之一：MAX5内存扩展加速器

可以说，IBM第五代X架构中最突出的亮点就是独特的MAX5加速器，而纵观X架构的发展史，我们也能发现其在内存上所做的文章是最多的。这源于IBM对内存的一贯偏爱（比如上一代的X4架构）。

仔细回顾了服务器的发展历史，可以看到随着CPU的多核化，每核心所能分配到的内存容量并没有什么变化，而内存在绝大多数的应用中均处于关键地位，对性能影响重大，尤其是越来越普及的虚拟化应用，而IBM也由此入手，对Nehalem-EX平台进行最为明显的改造

MAX5加速器简介，它共有两种，一种是给机架式服务器x3850X5、x3690X5使用（上），下方中笔者称之为MAX5-R，一种是给刀片式服务器使用（下），下文中笔者称之为MAX5-B

MAX5加速器是X5架构中最具革命性的创新，充分利用了英特尔新一代的QPI总线的特性，以一种巧妙的方式为服务器平台扩展了内存。这么说可能有些让人容易糊涂，我们可以先看看Nehalem-EX服务器的设计，再来看看MAX5又是如何为其提供额外的内存扩展能力的。

标准的4插槽Nehalem-EX服务器平台设计

在英特尔的给出的标准的4插槽Nehalem-EX服务器设计中，4颗Nehalem-EX处理器点对点全互联，每两颗处理器连接I/O Hub（英特尔的代号为“Boxboro”芯片组），每颗处理器通过4颗可扩展内存缓冲芯片（SMB，Scalable Memory Buffer）控制4路DDR3内存通道，每路DDR3内存最多支持4条DIMM，所以一颗CPU可配16条DIMM，4插槽时就是64条DIMM，这就是4插槽Nehalem-EX服务器的标准配置，而IBM的X5架构就是要打破这一限制。

IBM的Nehalem-EX服务器也仍然是使用英特尔的Boxboro芯片组与SMB来搭建，就服务器本身来讲是标准的Nehalem-EX服务器设计，在这其中并没有采用自己的芯片组，而在MAX5加速器上则采用了自己的芯片，IBM称之为eX5，我认为这是X5架构的最重要的精髓所在。

供X5机架式服务器3690X5和3850X5所使用的MAX5-R，其中EXA芯片即为IBM自己开发的eX5芯片（代号Firehawk），主板上有8颗SMB芯片，总扩展能力为32条DIMM，按每条8GB计算，合256GB，以目前DIMM的最大容量16GB计算，一个MAX5-R的最大内存容量达512GB

供X5刀片服务器HX5所使用的MAX5-B，红圈部分为IBM自己开发的eX5芯片，主板上的小块的银色散热片下面是SMB芯片，每颗负责4条DIMM，共6颗，所以刀片用MAX5的内存扩展能力最大为24条DIMM，按每条DIMM的容量8GB计算，为192GB，比现有的双插槽至强5600服务器还要多

机架式MAX5-R的结构，可以看出它留有QPI端口，在使用时，它通过外连专用的QPI电缆与服务器相连，由此就可以知道它如何为服务器扩展内存了吧

MAX5-R的eX5芯片与端口特写，可以看出有4路QPI（图中红圈处），而最上方的则是IBM自己开发的高速EXA端口，用于MAX5的级联，设计传输率为10GT/s（QPI是6.4GT/s），总的结点带宽为48GB/s

3850X5服务器与MAX5-R的连接示意图，与上面的那个标准的4插槽Nehalem-EX服务器的架构图相比较就可以看出其中的玄机了

这是MAX5-R的结构图，三个EXA总线负责未来的MAX5+服务器的级联，而QPI负责与主服务器连接，可以看出有8个SMB控制着8个内存通道

IBM的eX5芯片可以看做是一个QPI与内存控制器的桥接芯片，4个插槽的Nehalem-EX服务器中，每颗Nehalem-EX的处理器均出一路QPI通过QPI电缆与MAX5相连，所以MAX5与服务器相连的带宽就是4路QPI的带宽，按照6.4GT/s的传输率峰值计算，就是102.4GB/s。但笔者认为，这是QPI双向的总带宽，单向带宽为51.2GB/s。如何MAX5上的一个SMB也是代表一个内存通道的话，就意味着MAX5-B有6个内存通道，按Nehalem-EX标称的最高速率1066MHz来计算就是51.2GB/s左右，而对于MAX5-R，那就是8通道68.2GB/s，看样子4路QPI的单向通道将成为瓶颈，当然这只是笔者的猜测，而即使真的如此，内存容量往往也比内存速率更重要。

在具体的内存速率方面，MAX5的设计与英特尔的SMI及SMB规范相当，即与QPI总线速率挂钩，具体见下表。

IBM的eX5芯片在内部也为与其连接的CPU做好了互联准备，我们可以回过头来再看一下前面MAX5的介绍，可以发现它仍然具有Snoop Filter（侦听过滤器，或称轮询过滤缓冲，存储每个处理器最后一级缓存，如L3的缓存行地址，减少多处理器间做缓存数据查询所产生的延迟和不必要的轮询操作），只是不知道具体的容量（上一代eX4芯片中是384MB的容量），所以从这个意义讲eX5也可算一个具备内存扩展能力的节点控制器。

当主服务器与MAX5相连接后，MAX5上的内存有两种关联方式，一种是将内存分派给指定的CPU来访问，一种是将MAX5作为一个共享的内存池供整体系统使用，但默认的是第一种，因为一些主要的操作系统不支持这种共享内存池的工作模式（如Windows和VMware，Linux则可以），而这两种模式可在eX5服务器的UEFI（取代传统BIOS的管理设置程序与接口）中调整切换。

然而，要注意的是，MAX5内存扩展器目前还不能被虚拟化软件所采用，最新发布的VMware vSphere 4.1仍然没有支持MAX5，而CITRIX的XenServer与微软的Hyper-V目前也不支持MAX5，但IBM与VMware都已经明确表示将会让MAX5在虚拟化应用中大显身手，所以也请有意者留意最新的动态。

有人可能会问，HX5是双插槽的刀片，又是如何提供4路QPI与MAX5-B连接的呢？在此先卖个关子，在下文介绍HX5刀片时再说，而由MAX5设计所带来的另一个重要特性——级联扩展。IBM所新推出的三款eX5服务器都可以通过级联成倍的扩展插槽数量，就像X4时代的3950M2一样。当然，这个能力并不是由MAX5所带来的，可是由于MAX5的设计，所以预留了外连EAX的端口，这同样也就为级联扩展做好了准备，这一点将在下文做进一步的介绍。