深入解析Superdome 2：惠普关键业务平台再加强？

惠普RISC小型机历史，和在安腾上的发力

在讨论安腾（Itanium）9300、HP Integrity（动能）服务器和Superdome 2之前，我们先来简单回顾一下惠普在UNIX服务器、小型机方面的发展历史。

笔者是从上世纪90年代开始进入IT行业的，最初关注的主要是个人PC方面，Alpha 21264大约是第一款给我留下深刻印象的RISC架构处理器（教科书上那些古老的不算）。不过没过几年，DEC公司就被当时的康柏（Compaq）收购，Alpha小型机产品线也就归于后者所有。再往后，就是众所周知的惠普并购康柏，Alpha再次转手，据说Intel购得了Alpha处理器的一些技术。最终，这个曾经强大一时、具有广泛影响力的产品结束在21364这个数字上面。

就像前几年惠普PSG集团的工作站产品经理陈立所说的：“我在这家公司工作了10年，不过最早是在DEC，后来…”

为什么要提到Alpha呢？因为它和后来的Intel Itanium CPU有着密切的联系。

惠普Integrity（动能）系统家族。这张图之所以截自英文网站，是因为目前HP中文网站上的分类还是按照高中端、入门级和刀片的方式，而上图则将Integrity服务器分为刀片（blade）、机架式（rackmount）、Superdome和NonStop系列

记得在2008年一次惠普的小型机渠道推广会上，宣传的还是动能rx2600这些产品，也是面对HP的产品经理。由于当时笔者关注这些的频率不高，提了这样一个问题：“惠普一直有自己的PA-RISC处理器小型机产品线，收购康柏之后应该又得到了Alpha，而我们看到今天只在讲安腾，另外2种产品的情况如何？”

得到的答复是：“从安腾项目一开始，惠普的PA-RISC研发团队就在与Intel合作；与康柏合并之后，原来Alpha的团队也加入到Intel一起搞安腾CPU。惠普PA-RISC的部分型号仍在出货，但不会再有新的发布。”

关于惠普和Intel在安腾服务器（开始还曾有过工作站）方面的深入合作，从第一代安腾产品推出时我们就已经听说。比如惠普有针对Itanium处理器研发的主板芯片组sx1000等，相关平台当然也是自己设计。可以说，惠普放弃了原来拥有的PA-RISC产品线，全力在安腾业务上与Intel配合。这一方面可能是由于当时来自IBM Power和Sun（已被Oracle收购）SPARC系列RISC系统的竞争，比如SGI就放弃了MIPS处理器；另一方面也是想借助Intel在CPU领域的优势，从制造工艺等方面获益。

记得第2代安腾（Itanium 9100系列）发布的时候，尽管主频相对于x86不算高，但Intel还是拿出了一组性能对比数字，其中大部分超过了当时的Power x、Ultra SPARC x等竞争对手。

安腾9300家族产品线，惠普动能Superdome 2支持的是最高端的9340和9350两款4核CPU，TDP都是185W

由于本文的主题并不是安腾9300 CPU，因此对于它跳票的原因，还有未来的路线图不想谈太多。我们还发现整个安腾的生态系统发生了一些变化：2009年底，Red Hat（红帽）宣布不再推出支持新一代安腾的企业版Linux操作系统，而微软也随后在2010年4月宣布自Windows Server 2008 R2以后的版本不再支持安腾。我们预测未来90%以上的安腾服务器都将使用惠普自己的HP-UX，原来也有这部分业务的另外几家厂商有的选择OEM自HP，像富士通（Fujitsu）这样曾经自主研发安腾系统却改为和Oracle/Sun SPARC合作。

去年4月，惠普发布了新一代Integrity动能服务器产品（详情参见：“最后驾到！解析HP安腾9300服务器”）。今年初，我们又在“欲掌乾坤 架构先行 浅析惠普新一代动能服务器架构变革” 一文中对它们做了进一步的讨论，其中包括2010年12月正式推出的Superdome 2——新一代Integrity动能服务器当中的旗舰产品。

本文讨论的重点就是Superdome 2，不久前笔者采访了中国惠普企业业务集团关键业务服务器产品经理李周昱女士和杨宇欢先生。不过在相关的问答之前，我们觉得有必要先对Superdome 2做一些详细的介绍和分析，那么这几页内容我们就结合英文资料中的部分图片，将采访的部分放到后面。

惠普Integrity Superdome 2

上图我们在以前的文章中给大家出示过，不过这次添加了一些注释说明。机柜中从上数第一条红线开始；往下依次为4U高度的Superdome 2 IOX（I/O扩展柜），里面是专门安装PCI Express扩展卡的；18U高度的Superdome 2刀片机箱，这台里面纵向插入了4个Superdome 2刀片，每个刀片上面带有CPU、内存和芯片组等（上图样机的右下方好像还有其它不同的刀片？正式产品中这部分应该是不包含存储的）；最底下是惠普StorageWorks MDS存储扩展柜（JBOD），充当Superdome 2的“硬盘”。

惠普Integrity Superdome 2后视图（和上张图片不是同一台）

这个就是我们采访HP产品经理时，在惠普大厦9层解决方案中心看到的Superdome 2实物。该机柜的最上面，放了一台同属于安腾9300系列的惠普动能BL870c i2刀片服务器；接下来同样依次是Superdome 2 I/O扩展柜和Superdome 2刀片机箱，二者之间连接有专用的数据线，从尺寸有限的图片看上去还是挺复杂的。

惠普Integrity Superdome 2刀片机箱前、后视图：与C7000 配有相同的风扇、电源和状态显示屏，所有组件均可从前后端轻松进行维护

Superdome 2刀片机箱是整个系统的核心，里面满配可以安装8个刀片，18U机箱的顶部和底部一共有12个与惠普c7000刀片机箱通用的电源模块。

从背面看上去，Superdome 2靠下的10U高度部分与c7000是通用的。其中包括8个内部连接模块的位置，用于将刀片上的网卡、PCI Express夹层卡等的接口导出至背板，或者还可以实现内部交换（安装不同的模块）。上、中、下三排共15个c7000的散热风扇，还有2个连接电源线的c7000电源输入模块。除了这些，我们看到机箱靠上的8U部分中有4个XFM高性能交叉结构模块（Crossbar Fabric Modules），它们负责机箱内8个Superdome 2刀片之间、I/O扩展柜和Superdome 2刀片机箱之间、多个Superdome 2刀片机箱之间的I/O数据传输，并带有冗余功能。

“大多数的东西（组件）是可以从前面拔出来的，还有一些东西是可以从后面拔出来的。这样维护起来就容易多了”惠普关键业务服务器产品经理李周昱如是说。

Superdome 2-8s、16s、32s从低到高的三款型号

从左到右分别为惠普Superdome 2系列的三款产品：Superdome 2-8s是一款8插槽SMP（对称多处理器）系统，最多可以扩展连接4个IOX PCIe扩展柜。它在刀片机箱的硬件上与右边16插槽的Superdome 2-16s没有区别，只是被限制为每4个刀片（双CPU插槽）在一个nPartition绝缘硬件分区内，相当于被隔离成2台物理服务器。

Superdome 2-16s和32s支持的IOX扩展柜数量增加到8个（开始发布时外部I/O插槽的最大数量均为48个，应该就是4个扩展柜，有望在2011年支持到96个PCIe扩展卡）。最关键的是它们在单一系统内CPU插槽数分别达到了16和32个，其中Superdome 2-32s是跨越2个18U刀片机箱实现的（注：目前发布的仅提供32插槽的启动包，也就是16颗CPU在一个分区内，将来可以升级至32插槽服务器，有望在今年推出）。

ZDNet：这里我们产生了一个问题，就是Superdome 2系列中这款低端的SD2-8，它将16个CPU插槽划成了两个分区，而Integrity BL890c i2也是一台8插槽的安腾9300刀片服务器。所以我们感觉最低的这款Superdome 2定位不是很明确，它的市场定位和890c有什么差别？

李周昱：BL890c i2也是一个UNIX服务器，但从扩展性方面来说，不如Superdome 2。惠普希望通过比较经济的花费让客户采用到最好的技术。我们以前也有很多的客户，将Superdome分成两个分区来应用，但他们的可靠性（RAS）的要求会更高一点。最重要的是我们的SD-8系列将来可以升级到SD-32系列，甚至更高型号。

ZDNet：通过购买授权来实现？

李周昱：不光是购买授权，准确的说是升级套件。我们一直是强调，只要购买Superdome 2的用户，不管是8插槽还是16插槽，如果需要的话未来都可以扩充到最高到256处理器内核（64个CPU插槽）。因为我们这种模块化的结构，这256核等于是一台机器，完全是根据用户业务的增长而增长的。

关于Superdome 2在扩展性和可靠性方面的增强，下面我们会继续讲解。

Superdome 2系统拓扑结构图

上面是Superdome 2机箱内的整体拓扑结构图。左侧叠放的是最多8个Superdome刀片，每个双插槽刀片提供了8个物理CPU核心/16线程，最大可安装32条8GB内存。Superdome刀片使用Crossbar Fabric通过上行中板（Upstairs Midplane）连接到4个XFM交叉结构模块；通过与c7000刀片机箱通用的下行中板（Downstairs Midplane）连接到可选的IO Bay（可选IO Switch）。这样就组成了最多支持16个CPU、64核心、128线程、2TB内存、32个万兆以太网卡和24个夹层卡（mezzanine）I/O的系统。

Superdome 2 sx3000芯片组（上行中板）I/O连接路径

这张图专门说明的是Superdome 2刀片——上行中板（XFM）——IO扩展柜之间的连接路径，其中可以大致看出惠普自己设计的sx3000芯片组中包含的3颗VLSI（超大规模集成电路）芯片的位置和作用。首先Itanium 9300 CPU通过QPI连接到2个Agent（刀片控制器）芯片；然后再经过上行中板和XFM模块中的Crossbar交换芯片连接，由此来实现刀片间的通信和刀片与I/O扩展柜的数据传输；而每台I/O扩展柜中则含有2个IOH（PCIe系统总线适配器）芯片，单颗IOH能够支持6个x8 PCIe扩展槽， 48条PCIe 2.0通道超出了Intel Xeon 5520/7500 IOH芯片组支持的36条。

Superdome 2刀片、I/O扩展柜和高可用Crossbar互连

Superdome 2刀片子系统结构示意图

上面就是Superdome 2刀片上的主要组成单元。其中每个CPU通过4颗Memory Buffer（内存缓冲）芯片连接到16个DDR3-RDIMM（Registered ECC）内存插槽，这样的内存控制器设计和我们在“整体设计的提升：初品戴尔PowerEdge R910服务器”一文中讨论的Intel Xeon 7500 CPU基本相同，区别在于x86架构的至强7500最高支持1066MHz的内存频率，而安腾9300达到了1333MHz。

2颗Itanium 9300处理器与sx3000 Agent芯片组之间的连接，是通过每个CPU提供的3条QPI来实现的。不过由于工作在比较保守的4.8GT/s频率下（Xeon 7500等最高支持6.4GT/s），因此每条QPI提供的最大带宽为19.2GB/s。

我们还看到每颗Agent芯片还连接了64MB的L4 Cache（四级缓存）嵌入式eDRAM，它应该就集成在Agent芯片上。这里我们再简单介绍一下Superdome 2的CPU缓存结构：首先是安腾9300每个内核带有32KB L1 Cache、512KB（指令）+ 256KB（数据）L2 Cache，CPU上还带有4个内核共享的24MB L3 Cache；而L4 Cache（片外部分）就是惠普Superdome 2高端动能服务器所特有的，2个64MB分别也是对应CPU插槽内的所有核心共享，它的作用是缓冲来自内存和“远程”刀片的数据，在CPU三级缓存的基础上进一步降低延迟并提高性能。

每个sx3000 Agent芯片一共具有5条带宽为13.0GB/s的Fabric连接，其中1条用户2颗Agent之间互连，1条连接到IOH来提供PCIe 2.0本地I/O扩展，另外3条则通过上行中板连接至XFM交换模块。

Superdome 2刀片实物图说明

这张照片标明了在Superdome 2刀片上，CPU、内存插槽、Agent/IOH芯片和3个夹层卡的位置。需要说明的是，Superdome 2最初发布时还不能支持内置夹层卡（mezzanine）形式的PCIe设备，有望在2011年推出。我们知道Superdome 2刀片中是不包含硬盘的，也就是说必备的存储单元需要通过至少标配一个的I/O扩展柜（见下图）中插入的标准尺寸PCI Express HBA卡来向外连接。

4U高度的Superdome 2外置I/O扩展柜

上图就是Superdome 2的PCIe I/O扩展柜。左右隔开为2块区域分别有6个PCIe插槽的I/O bays，而2颗sx3000 IOH芯片就在中间的位置，在机箱后面的中下部是连接到Crossbar Fabric的接口，而上方还有冗余的（左/右各一个）管理端口。

Superdome 2系统计算节点（刀片机箱）拓扑连接图 点击查看大图

在这张图中，左上角的部分就是拿我们前面讲过的“Superdome 2刀片子系统结构示意图”来作为一个刀片的示例，而第2～8个刀片也以类似的方式连接到4个Crossbar（XFM）模块（每个sx3000 Agent芯片分别连接2个不同的XFM）。此外Crossbar上还可以连接4/8（SD2-16s、32s将会支持）个IOX扩展柜，注意每个I/O扩展柜中的2颗IOH芯片也是分别连接到2个不同的Crossbar。

如此就实现了整个I/O交换架构的高可用，芯片组数据路径的容错能力达到100%，任何一个Crossbar出现故障都不会使系统的I/O通信部分功能中断。而所有模块之间连接的上行中板采用了被动式设计（无主要逻辑芯片），消除了信号路径中的单点故障。记得笔者曾经在介绍LSI 600系列6Gb/s SAS JBOD存储扩展柜时提到过被动式中板，当然它只是在2个ESM（SAS扩展器）和驱动器之间实现高可用连接，而惠普Superdome 2则要复杂得多（实现成本也高得多），但在设计理念上二者是异曲同工的。

Superdome 2支持故障切换的Crossbar Fabric模块化I/O设计，是相对于上一代Superdome产品在RAS（可靠性、可用性、可服务性）方面的重大改进。这使它成为了名副其实的关键业务平台中的高端产品，而不仅是在性能方面突出。

我们看到整个Crossbar结构一共能够提供96条Fabric连接，除了其中48条固定用于刀片间的通信之外，其余的32条根据系统的规模（8/16、32、64 CPU插槽）可以有不同的定义。比如在上图右上角的示意中：SD2-16s只有1个Superdome 2刀片机箱（节点），因此这32条Fabric都可以连接I/O扩展柜；SD2-32s需要将其中16条用于2个节点之间的互连，而每个刀片机箱余下的16条再连接PCIe I/O；到了将来的SD2-64s时，32条Fabric将全部拆分为8链路的连接，其中3组用于4个节点间的通信，另外一组作为I/O连接。

在任何集成内存控制器，并使用CPU扩展连接的NUMA（非一致性内存访问）架构多处理器系统中，每个机箱节点对外连接的带宽总是有限的。因此，扩展的规模越大（CPU数量越多）不同机箱、电路板之间的I/O通信设计和验证工作就越复杂，这就是惠普一开始没有推出64插槽的Superdome 2，而且SD2-32s也是Starter Packer的原因。

前面我们讲的主要都是硬件部分。谈到管理方面，Superdome 2提供的动能Integrated Lights-Out（iLO 3）底层管理功能，与惠普其他系列包括x86在内的服务器都是采用的通用标准，可以在同一个Insight Management软件界面中进行统一管理。这也算是享受到了BladeSystem Matrix的部分好处吧。

Superdome 2机柜门上的可编程状态显示屏（可选）

在Superdome 2的机柜门上，用户还可以根据需要选购“可编程状态显示屏”，从它显示出的不同背景颜色，无需打开机架门就可以快速地了解系统是否运行在正常状态。

在我们上一页着重强调的Superdome 2 I/O高可用，加上安腾9300高速缓存、内存的ECC校验，以及双内存芯片错误修正（DDDC，或称双芯片备用）等可靠性功能之外，我们还进行了如下的假设：如果Superdome 2服务器上有一个CPU损坏，根据程度的不同可能会丢失对应缓存和本地内存中的数据；而若是sx3000 Agent芯片中的一颗损坏，临近的L4 Cache也将无法访问。

也就是说尽管Superdome 2的可靠性已经相当高了，在每个计算刀片单元（包括内存等）上的单点故障还是无法彻底避免的。假设出现这些情况，运行在上面的操作系统和应用很可能会宕机，那么使用建立在应用层面的高可用软件还是有意义的。这就是那些选择SD2-8s和SD2-32s Starter Packer的用户，拥有2个绝缘硬分区时可能会采取的方式。

惠普动能服务器中的另外一个系列——Integrity NonStop（超级强健，号称7*24小时永不停机）目前还没有更新到安腾9300平台，它就是融入了NonStop OS（应该也是基于HP-UX技术）操作系统等软件层面上的高可用特性之后，整体打包的解决方案。

惠普Superdome 2英文Data sheet中的环境规格（部分）

目前Superdome 2还没有出现在惠普的中文网站上。在我们拿到的惠普Superdome 2中文Data sheet中，列出的工作温度是+5°C～+32°C，而我们还看到英文资料中写的是+15°C～+32°C。我们觉得这个可能是翻译时出现了疏漏，最低工作温度还是应该以+15°C为准。许多大型系统，由于复杂度的提升而对运行环境的要求相应也会提高，比如惠普OEM自日立（HDS）的StorageWorks P9500高端存储系统的工作温度范围也是+16°C～+32°C，而不像大多数磁盘阵列和x86服务器那样为标准的+5°C～+35°C。