从中国POWER服务器 看OpenPOWER与英特尔的开放之争

基于CP1的中国POWER服务器

在峰会上，来自中国的厂家服务器厂商正式发布了基于OpenPOWER技术成果的国产POWER服务器，它们是无锡中太的RedPOWER服务器、新云东方的NL2200服务器、创和通讯发布OP-1X服务器。这其中，只有无锡中太的RedPOWER是基于CP1的，其他两个则是基于标准的POWER8处理器。因此，我们的分析也主要基于RedPOWER，从中我们能进一步了解CP1除了安全特性以外的其他能力。

RedPOWER服务器主要特点介绍

在RedPOWER服务器的介绍中，我发现了一个有意思的数据，即CPU至内存的最高带宽可达115GB/s，并且不再使用昂贵的CDIMM内存模组，使用标准的DDR3内存即可，所降低的成本极为可观，而这个关键的设计，就与前文讲到的CP1在内存控制方面的改动有关。

所谓的CDIMM，就是指Custom DIMM，又称Centaur DIMM，是IBM为POWER8专门准备的内存模组，它与POWER8的内存控制架构密切相关。

POWER8的内存控制架构，每颗CPU拥有两个内存控制器、各有4个内存通道，每个内存通道外连一颗内存缓冲芯片（总共8颗），每个内存缓冲芯片再外接4个通道，这就相当于传统意义上的32个 内存通道，每个通道最高支持DDR3-1600（但注意，并不是一个通道对应一个DIMM，这一点将在下文解释），理论上内存聚合带宽就是410GB/s

POWER8内存缓冲芯片（代号Centaur“半人马座”）设计细节，内置16MB的缓存，相当于CPU的第四级缓存（L4 Cache）

POWER8内含两个主内存控制器与8个内存通道（每个控制器对应4个），每个通道外连代号为Centaur的内存缓冲芯片，由Centaur芯片负责与内存进行数据交换。Centaur芯片与处理器之间的总线频率最高为9.6Gb/s，不过这是用于高端的E系列服务器，此外还有8Gb/s的规格，用于中低端的双路或4路POWER8服务器。

Centaur芯片与CPU之间互联总线位宽为24bit，因此每个Centaur芯片与CPU之间的数据带宽是28.8GB/s，8通道总合230GB/s（8Gb/s时为192GB/s）。而Centaur芯片又是4通道的设计，在内存规格上，Centaur芯片最高支持DDR3-1600，所以缓冲芯片到内存间的带宽最高可达51.2GB/s（4通道），8颗Centaur芯片到内存的总带宽最高为410GB/s。

根据初始的设计规范，Centaur芯片是做在DIMM上，但理论上也可以做在服务器主板上，以应对不同的需求。而具备Centaur芯片的DIMM就是CDIMM，也是当前POWER8服务器所使用的，其在RAS（可靠性、可用性与可维护性方）和容量方面有更大的优势，目前最高可提供512GB的单DIMM容量，并在单DIMM上实现4通道带宽设计

与POWER8系统相配套诞生的就是RedPOWER所强调的CDIMM，它是把Centaur芯片直接做在了内存模组上，模组对外的接口并不是DDR3/4总线，而是Centaur芯片与POWER8内存控制器间的接口。由于是特殊的设计，再加上生产量不可能很大，所以成本也就可想而知了。目前，所有的POWER8服务器，无论是S系列（Scale-Out）还是E系列（Enterprise），都使用CDIMM，且都是按每CPU配8个CDIMM的设计（一个DIMM集成一颗Centaur芯片），双路服务器最多16个CDIMM，以此类推。

目前16GB的CDIMM报价1250美元，32GB CDIMM报价1700美元，64GB CDIMM报价3400美元，要知道1250美元，就可以买到两个64GB的DDR3-1600 RDIMM了，仅就内存这一项，POWER8服务器就比x86服务器贵了5倍。所以，回归标准内存有着重要意义，难怪RedPOWER的发言人表示，其服务器的价格已经可与x86服务器竞争。

在RedPOWER的介绍中指出，它将8颗Centaur芯片做在了主板上，所以可以使用标准的DDR3 DIMM。可是单颗POWER8就可外接8个Centaur芯片，而双路的RedPOWER才有8颗Centaur芯片，这似乎有点奇怪。服务器总共有32个DIMM，也就意味着每颗CPU拥有16个DIMM，每个Centaur芯片对应4个DIMM（正好1个通道1个DIMM）。而POWER8标称的内存持续带宽可达230GB/s（Centaur芯片至CPU），RedPOWER标称的则是115GB/s，正好与Centaur芯片数量减半吻合。我想，这可能就是CP1在内存模块方面改动后的根本表现。

到目前为止，我还不清楚RedPOWER服务器的具体设计，每个CPU外接Centaur芯片减半，是不是也有CPU内存控制器的配套改动？这些只能留在以后有时间查证了。不过，将Centaur芯片从DIMM上拿出来，让RedPOWER服务器价格已经可与x86服务器可比，必然要付出性能的代价吧，至于这个代价有多大，就要看看CP1平台具体的性能表现。