惠普“龙跃”奥德修斯之路

Superdome X的架构设计

奥德赛计划宣布之初就谈到了基于Superdome 2架构的x86版本，而正式发布的Superdome X（现在你应该知道“X”的含义了吧）也基本保持了Superdome 2的样貌。

Superdome X系统的整体构成与设计，一个Superdome X机箱可最多装8片BL920s Gen8刀片服务器，安装数量为1、2、4、8片，即可实现2插槽、4插槽、8插槽与16插槽的四种配置，每个服务器配两颗E7v2处理器和48个DIMM插槽，最高可配1.5TB内存（8个BL920满配，共12TB）

Superdome 2的Cell刀片服务器（采用的是安腾处理器）

Superdome X服务器由18U高的Superdome X机箱+BL920s Gen8刀片服务器组成，从总体布局上与Superdome 2机箱/刀片很相似。不过，由于采用的是至强E7处理器，所以在内部的架构上，可能更接近于已经停产的DL980 G7。8插槽的Superdome X其实就相当于DL980 G7的接班人（刀片服务器型号的后缀是Gen8）。

Superdome X服务器的关键配置与特性，最高16插槽/12TB内存容量，无疑是当今配置最高的至强E7v2服务器

在Superdome X的配置说明中，我们会看到这样的一个信息，它采用了惠普自己开发的XNC2的节点控制器。耳熟吗？没错，在DL980 G7上用的就是第一代XNC（eXternal Node Controller，外部节点控制器），而在Superdome X则用的是第二代XNC。

XNC节点控制器是DL980 G7中久负盛名的PREMA架构的核心，它不同于英特尔的官方给出的8插槽E7平台的拓扑架构，而是通过两组XNC实现CPU之间更高效的互联（所有CPU之间均是点对点的连接，无需二次跳转），尤其适用于8路及以上的高端系统。

英特尔官方的8路E7的互联架构，由于不提供额外的节点控制器，限于E7的QPI接口数量（最多3个），可接访问的只有相邻的CPU。比如上图中，蓝色的CPU就是黑色CPU0所无法直接访问的，这意味着CPU0如果想访问蓝色CPU所控制的内存数据，就必须要经过其他CPU，反过来蓝色CPU所控制的内存数据传回CPU0也同样如此，显然也会影响途中经过的CPU自己的处理效率

在英特尔的官方版本（即公版）E7平台设计中，8路是英特尔所给出的最终设计，在理论上也是可以实现16路、32路甚至更高路数设计的（CPU可以无限的级联下去），但由于没有节点控制器的有效中继与整合，实际和性能将不可用。这也就意味着，要做到16路的Superdome X必须要有自己的节点控制器，而此前的DL980 G7无疑已经打下了良好基础。

DL980 G7中的PREMA架构，通过XNC节点控制器的中继，CPU之间无需经过其他CPU就可以直接互联，进行内存数据的“非一致性”访问（NUMA），而且XNC还会带来额外的好处——无需使用昂贵的E7-8800系列的8路专用型号，用性价比更好的双路E7-2800系列就可以做出8路的产品。DL980 G7即是如此，在其CPU的支持列表中，甚至没有E7-8800系列

在PREMA架构下，CPU之间的NUMA效率会有明显的提升

Superdome X所采用的XNC2芯片无疑是源于DL980 G7，所以在总体的互联架构上也有众多的相似之处，比如在CPU的支持方面，可以采用双路的E7v2，借助XNC2的级联中继实现16插槽的扩展能力。不过，惠普目前还没有给出明确的图解说明，所以在这里，笔者只能大胆推测了。

BL920s Gen8服务器实拍，左下角巨大的芯片（覆有散热器），就是XNC2芯片，在Superdome 2的安腾刀片上，这个位置是两颗芯片，惠普称之为Agent芯片，其作用就相当于节点控制器。不过，基于XNC的设计，可以借助跨刀片的交叉访问来实现系统的冗余

笔者所推测的Superdome X处理器互联架构图，在此感谢我的同事盘大师一起讨论修正，可以看出与DL980 G7的PREMA架构很像，即使是16路CPU，任意CPU之间的通信也都不会占用其他CPU的通道。在此推测图中，XNC2芯片虽然每刀片只有一颗，但应该是跨刀片的互联架构，这样就算刀片上的XNC2芯片失效，也能保证访问的冗余性。另一方面，惠普的硬分区（nPars）设计，则是隔插槽的刀片组合，比如两个刀片的nPas，就是1/3、5/7、2/4、6/8刀片的组合，如果是4个刀片的分区，则是即1、3、5、7刀片是一组，2、4、6、8刀片为一组，就此推测，XNC2之间的冗余也是奇偶编组刀片连接的（请注意上图中的刀片编号）。而中间的4组XFM则实现了交叉全互联，任何一个XFM失效，也不会影响CPU之间的通信

相对于DL980 G7来说，Superdome X一个巨大的改进就是所谓的CROSSBAR的交叉互联的架构，当然也是源于Superdome 2，它是顶级高可用服务器的一个重要标志。Superdome X上配备了4个XFM（Crossbar Fabric Modules，交叉互联网模块），可以保证每个刀片、CPU都有冗余的链路进行连接，从而确保了硬件上的可靠性，这也将是整体系统的高可用性的重要基础。