深入解析Superdome 2：惠普关键业务平台再加强？

Superdome 2刀片、I/O扩展柜和高可用Crossbar互连

Superdome 2刀片子系统结构示意图

上面就是Superdome 2刀片上的主要组成单元。其中每个CPU通过4颗Memory Buffer（内存缓冲）芯片连接到16个DDR3-RDIMM（Registered ECC）内存插槽，这样的内存控制器设计和我们在“整体设计的提升：初品戴尔PowerEdge R910服务器”一文中讨论的Intel Xeon 7500 CPU基本相同，区别在于x86架构的至强7500最高支持1066MHz的内存频率，而安腾9300达到了1333MHz。

2颗Itanium 9300处理器与sx3000 Agent芯片组之间的连接，是通过每个CPU提供的3条QPI来实现的。不过由于工作在比较保守的4.8GT/s频率下（Xeon 7500等最高支持6.4GT/s），因此每条QPI提供的最大带宽为19.2GB/s。

我们还看到每颗Agent芯片还连接了64MB的L4 Cache（四级缓存）嵌入式eDRAM，它应该就集成在Agent芯片上。这里我们再简单介绍一下Superdome 2的CPU缓存结构：首先是安腾9300每个内核带有32KB L1 Cache、512KB（指令）+ 256KB（数据）L2 Cache，CPU上还带有4个内核共享的24MB L3 Cache；而L4 Cache（片外部分）就是惠普Superdome 2高端动能服务器所特有的，2个64MB分别也是对应CPU插槽内的所有核心共享，它的作用是缓冲来自内存和“远程”刀片的数据，在CPU三级缓存的基础上进一步降低延迟并提高性能。

每个sx3000 Agent芯片一共具有5条带宽为13.0GB/s的Fabric连接，其中1条用户2颗Agent之间互连，1条连接到IOH来提供PCIe 2.0本地I/O扩展，另外3条则通过上行中板连接至XFM交换模块。

Superdome 2刀片实物图说明

这张照片标明了在Superdome 2刀片上，CPU、内存插槽、Agent/IOH芯片和3个夹层卡的位置。需要说明的是，Superdome 2最初发布时还不能支持内置夹层卡（mezzanine）形式的PCIe设备，有望在2011年推出。我们知道Superdome 2刀片中是不包含硬盘的，也就是说必备的存储单元需要通过至少标配一个的I/O扩展柜（见下图）中插入的标准尺寸PCI Express HBA卡来向外连接。

4U高度的Superdome 2外置I/O扩展柜

上图就是Superdome 2的PCIe I/O扩展柜。左右隔开为2块区域分别有6个PCIe插槽的I/O bays，而2颗sx3000 IOH芯片就在中间的位置，在机箱后面的中下部是连接到Crossbar Fabric的接口，而上方还有冗余的（左/右各一个）管理端口。

Superdome 2系统计算节点（刀片机箱）拓扑连接图 点击查看大图

在这张图中，左上角的部分就是拿我们前面讲过的“Superdome 2刀片子系统结构示意图”来作为一个刀片的示例，而第2～8个刀片也以类似的方式连接到4个Crossbar（XFM）模块（每个sx3000 Agent芯片分别连接2个不同的XFM）。此外Crossbar上还可以连接4/8（SD2-16s、32s将会支持）个IOX扩展柜，注意每个I/O扩展柜中的2颗IOH芯片也是分别连接到2个不同的Crossbar。

如此就实现了整个I/O交换架构的高可用，芯片组数据路径的容错能力达到100%，任何一个Crossbar出现故障都不会使系统的I/O通信部分功能中断。而所有模块之间连接的上行中板采用了被动式设计（无主要逻辑芯片），消除了信号路径中的单点故障。记得笔者曾经在介绍LSI 600系列6Gb/s SAS JBOD存储扩展柜时提到过被动式中板，当然它只是在2个ESM（SAS扩展器）和驱动器之间实现高可用连接，而惠普Superdome 2则要复杂得多（实现成本也高得多），但在设计理念上二者是异曲同工的。

Superdome 2支持故障切换的Crossbar Fabric模块化I/O设计，是相对于上一代Superdome产品在RAS（可靠性、可用性、可服务性）方面的重大改进。这使它成为了名副其实的关键业务平台中的高端产品，而不仅是在性能方面突出。

我们看到整个Crossbar结构一共能够提供96条Fabric连接，除了其中48条固定用于刀片间的通信之外，其余的32条根据系统的规模（8/16、32、64 CPU插槽）可以有不同的定义。比如在上图右上角的示意中：SD2-16s只有1个Superdome 2刀片机箱（节点），因此这32条Fabric都可以连接I/O扩展柜；SD2-32s需要将其中16条用于2个节点之间的互连，而每个刀片机箱余下的16条再连接PCIe I/O；到了将来的SD2-64s时，32条Fabric将全部拆分为8链路的连接，其中3组用于4个节点间的通信，另外一组作为I/O连接。

在任何集成内存控制器，并使用CPU扩展连接的NUMA（非一致性内存访问）架构多处理器系统中，每个机箱节点对外连接的带宽总是有限的。因此，扩展的规模越大（CPU数量越多）不同机箱、电路板之间的I/O通信设计和验证工作就越复杂，这就是惠普一开始没有推出64插槽的Superdome 2，而且SD2-32s也是Starter Packer的原因。