浅析IBM新一代zEnterprise System大型主机

zEnterprise System的主机设计

作为IBM投入超过15亿美元而开发的System z主机的最新产品，zEnterprise System的目标并没有变化，它在企业IT架构中的角色也没有变化，反而凭借着革命的异构混载集成设计，使其具备了更强的可扩展性，与原有的主机管理平台，为企业IT提供了更高的服务质量（QoS），下面我们先来看看它的总体构成。

zEnterprise System由两大部分组成，一个就是zEnterprise 196中央处理器联合体（Central Processor Complex，简称CPC，图中左边的两个机柜），另一个就是刀片扩展模组（zEnterprise BladeCenter Extension，简称zBX，图中右侧的机柜），除了硬件之外，当然还有重要的管理平台——zEnterprise Unified Resource Manager（zEnterprise统一资源管理器），而zEnterprise System的目标是在能耗、性能、虚拟服务器、网络、Hypervisor（虚拟机平台）与运营方面为大型主机建立一个新的标杆

我们可以看出zEnterprise 196 CPC是由两个框架组成，分为Frame A（框架A）和Frame Z（框架Z），这种设计与z10相同，其具体的结构如下：

zEnterprise 196 CPC的风冷型号结构图，左则是框架Z，右侧是框架A，可以看出框架Z主要是辅助性设计，如电源、I/O、管理等，而框架A是主处理设计，包括了处理器库（Processor Book）以及高速互联I/O、和冷却设备，在风冷型号中，冷却模块是风冷模式的

水冷模式的zEnterprise 196，与风冷模式相比，最大的不同是在框架A中用水冷模块替换了风冷模块，并相应的对一些排线与模块位置进行了调整

目前，zEnterprise 196共有5种型号，原有的z10可升级至所有型号

zEnterprise 196 CPC目前共有5种型号，有这5种型号的区别将在下文中做进一步介绍，IBM表示将在2010年第四季度推出zEnterprise 196 CPC，而zEnterprise 196 CPC M80将提供最强大的性能。

IBM表示，zEnterprise 196 M80主机对于新的工作负载，性能是现有z10最高端E64型号的1.6倍，保持了应该有性能进步幅度

zEnterprise 196处理器简介——MCM处理器模块

IBM大型主机的一个鲜明的特色就是采用了中央处理器（CP）与系统辅助处理器（SAP，System Assist Processor）组成，其所采用的CP既不是IBM自家的POWER，也不是x86，而是一个“IBM独立自主”的，基于z/Architecture主机架构而开发的处理器，其采用复杂指令集架构（CISC），有246条复杂指令负责微码执行，而另外211条复杂则分解为类似于RISC的操作，因此虽然在总体架构上是CISC，但也兼具了RISC的优点。

zEnterprise 196所采用的CP的主频高达5.2GHz，这应该是当前最快的CISC处理器，而为了保证最高的处理密度，IBM仍然采用其惯用的MCM（Multi-Chip Module，多芯片模块）封装方式将多个CP封装在一起，以提供最高的性能。

zEnterprise 196 CPC所采用的CP-MCM模块，这个陶瓷模块是新大型机的中央处理单元，封装了目前世界上最快的微处理器（5.2GHz），使得新大型机的性能比上一代高出了60%，而耗电量是相同的。每个模块每秒能够执行500亿个指令

zEnterprise 196采用模块化的CP子系统模块设计，即处理器库（Processor Book），每个库的外形就像一个刀片服务器，一台zEnterprise 196中最多装4个处理器库。每个库上，安装有一个CP-MCM模块，30个DIMM，最高内存容量960GB（每DIMM 32GB容量）

zEnterprise 196最多可装载4个处理器库，而每个库之间用专用的FBC（Fabric Book Connectivity）总线连接

MCM模块的内部设计，共集成了6个处理器单元（PU，Processor Unit）和两个存储控制芯片（SC，Storage Control），

zEnterprise 196使用的MCM模块外形尺寸为96mmX96mm，采用103层玻璃陶瓷衬底设计，引脚采用LGA形式（共7356个引脚），每颗MCM的总晶体管数量超过了110亿个。

MCM内部芯片的拓扑图，其中GX是与主通道适配器（HCA）连接用的I/O总线，每方向带宽10GB/s，FBC就是处理器库之间的互联接口，而从拓扑图中，我们可以看出PU的设计并不一样，只有PU0、PU1、PU2这三个带有内存控制器，每个控制器有5个内存通道，而另外三个则没有内存控制器

我们已经知道每个MCM模块含有6个PU和两个SC，那么它们具体的设计又是怎样的呢？其实这才是zEnterprise 196的真正精华所在。

PU的结构图，它其实是一颗4核CISC处理器，其中MCU为内存控制单位，CoP为协处理器，共两个，用于数据压缩与加密处理，每个CoP都是一颗双核处理器。在缓存方面，每个PU有两块L3缓存，各为12MB，共24MB，类型为IBM引以为荣的eDRAM，最高可同时为每个核心提供高达160GB/s的数据带宽

每个PU核心的结构图，每个PU核心包括一个指令序列单元（ISU，Instruction Sequence Unit，用于乱序执行）、恢复单元（RU，Recovery unit，它保存一份有关系统完整状态的拷贝，包括所有的寄存器、收集硬件错误信号并管理硬件恢复动作）、指令预取与分支预测单元（IFB，Instruction Fetch and Branch）、指令缓存与合并单元（ICM，Instruction Cache & Merge）、指令解码单元（IDU，Instruction Decode Unit）、整数单元（FXU，Fixed-point Unit)、 十进制单元(DU，Decimal unit，用于整数和浮点的十进制运算)、二进制浮点单元（BFU，Binary Floating-point Unit，用于所有的二进制与16进制的浮点和整数的乘/除法运算）、存取单位（LSU，Load-Store Unit）、转换单元（XU，Translation Unit，它拥有大规模的TLB与动态地址转换功能，用于加速逻辑地址向物理地址的转换）

MCM中的PU采用了名为CMOS 12s的芯片技术，CMOS 12s是IBM开发的领先的处理器技术，其基于13层铜互联与硅覆绝缘体技术，生产工艺为45nm。不过，虽然每个MCM可以提供了6个PU，按理应该是24个核心，但这6个PU中的核并不见得全部用上，要看具体的zEnterprise 196型号。一般的是采用混合模式，即PU0、PU1、PU2和PU4只开启三个核，而PU3和PU5则开启4个核，这样总共只有20个工作核。所以在zEnterprise 196 M15（一个处理器库）中，有20个工作核，在有两个处理器库的M32则有40个，M49（三个处理器库）有60个，M66（4个处理器库）则就是80个，到了M80则就把所有的核全打开，这样就是96个，为最高水平。

在内存方面，MCM采用了内存冗余阵列技术，每个控制器有5个内存通道，但数据通道只有4个，另一个专门为校验准备（即N+1设计），当然每个数据通道中也将存有校验数据，内存总容量可达3840GB

介绍完PU，我们再来看看MCM中的那两个存储控制器，它们的芯片技术与工艺和PU一样，芯片大小为24.4 x 19.6 mm，由15亿个晶体管组成，它主要由L4缓存组成，类型也是eDARM，共占用10亿个晶体管，为MCM上的6个PU提供最后一级的缓存服务。

存储控制器（SC）的内部结构，一个SC共含有96MB的L4缓存

以一个MCM为单位，总共有192GB的L4缓存为6个PU最高24个核心服务，平均每个核心分配8MB L4缓存，需要指出的是，每个SC可为所有的PU服务

至此，我们可以为zEnterprise 196主机系统做一总结了，详见下表：

表中所指的SAP，就是原来z System中的专门针对某种应用而加入的辅助处理器，另外，还有一系列的逻辑处理器，主要用于虚拟化和z/OS等指定环境，目前有以下几种：

IFL（Integrated Facility for Linux，集成Linux设备）： 用于在z/VM虚拟机环境下Linux虚拟机用的处理器，负责处理Linux应用
ICF （internal coupling facility，内部耦合设备）：用于耦合设备控制代码的处理器
zAAP（Application Assist Processor，应用辅助处理器）：主要用来处理z/OS JVM的Java或是z/OS XML系统服务工作负载
zIIP（Integrated Information Processor ，集成信息处理器）: 主要用来处理器DB2 DRDA或 z/OS3 Communication Server IPSec工作负载

zEnterprise BladeCenter Extension（简称zBX）是zEnterprise System的一个最具革命性的设计与创新，它的出现也让大型主机的角色和能力有了悄然的转变，进一步适应了当前企业IT架构演变的需求。

zEnterprise BladeCenter Extension的扩展说明，一台zEnterprise 196主机可最多带4个zBX扩展机柜

zBX扩展机柜的内部设计，架顶（TOR）交换机用于与zEnterprise 196的互联，而每个扩展机柜最多可配两个BladeCenter刀片机箱

zBX BladeCenter刀片机箱的后视图，IBM并没有标明机箱的型号，但从其14个刀片的安装能力来看，应该是从BladeCenter E/H演变而来

zBX刀片扩展机柜使得zEnterprise System具备了System x与POWER刀片的扩展能力，这在大型主机的历史上是史无前例的，最多4个机柜可以提供8个刀片机箱共112个刀片服务器的扩展能力。目前zBX只有一个型号，为Model 002。

IBM工程师正在向zBX中安装一个新的x86刀片服务器

zBX的出现，意味着IBM将为大型主机赋予更多的使命，进一步解决传统企业IT架构中大型主机与下属POWER及x86系统的整合问题，因为部署大型主机的用户，肯定还会采用POWER或x86系统，而这两种系统的灵活加入（刀片的混载）则可以为客户提供灵活的解决方案，进一步帮助用户整合IT基础架构，从而也就进一步巩固了大型主机的地位。在另一方面，借助这一架构，zBX还为zEnterprise System贡献了新的处理功能，其中最主要的就是智能分析优化系统（SAO，Smart Analytics Optimizer）。

SAO是IBM基于x86刀片服务器而设计的，专门为zEnterprise System提供额外的数据分析能力的系统，它其实是一套软硬件结合的，基于z/OS平台的DB2数据库的数据仓库与商业智能平台，为z/OS应用环境提供了迄今为止最高的数据分析能力，其数据分析性能是上一代z10主机的10倍，其主要组成就是IBM Smart Analytics Optimizer for DB2 for z/OS软件（目前版本为1.1） 和定制的SAO刀片服务器。

zBX最多可容纳56个SAO刀片，每个刀片配置为双路4核2.93GHz处理器，12条4GB内存（共48GB），一个32GB的SSD，双端口10Gb网卡，和8Gb FC CIOv扩展卡。有消息称，zBX只支持HX5刀片（基于X5架构），可根据这一规格，2.93GHz是HX5刀片不可能达到的主频，倒是很像英特尔的至强X5570（4核）配置，不过至强E5640（32nm，4核）在加入Turbo Boost之后也是2.93GHz，由于至强5500面临淘汰，所以我们推测SAO刀片可能是基于至强E5640的。

除了SAO外，zBX支持的System x与POWER刀片配置如下：

zBX的System x刀片配置

zBX的POWER刀片配置

从配置上看，zBX的POWER刀片必是POWER7刀片无疑，若以性能角度分析应该就是PS701（单路，双内存控制器），而在System x方面，2.66GHz仍然不是HX5刀片所能达到的主频，低功耗方面（80W）也是至强7500和6500所达不到，而至强E5640（2.66GHz，80W）和至强X5650（2.66GHz，95W）倒是很符合所标注的规格，但是否真如笔者猜测的这样，还需日后进一步证实。

现在我们可以清楚的看出，zBX与zEnterprise 196之间是怎么协同工作的

不过，虽然配备了System x刀片服务器，但IBM并没有打算让它去执行Windows应用，因为它是zEnterprise System处理资源的一部分，最终还是要听从zEnterprise 196的指挥，而在这方面IBM支持了自家的AIX系统（用于POWER7），但并没有为Windows打开一扇窗，不过zEnterprise System的计算力供给控制中心（Capacity Provisioning Control Center）却是一台Windows工作站。

IBM计划在2010年底前在zBX平台上，提供POWER刀片，而对System x刀片的支持则在2011年上半年提供。

zEnterprise System所支持操作系统，虽然有支持System x刀片的zBX，但并不支持Windows

总之，zEnterprise System这次的设计很有新意，也让我们看到了IBM在大型主机上的用心良苦，不过这种“变形金刚组合”的方式也的确为大型主机增添了新的活力与能力，让它从原本封闭的形象开始转向兼容并包，从而也为大型主机打开了新的未来景象……