Nehalem-EX：1TB内存+大型主机级的可靠性

今年9月英特尔公司在美国旧金山召开的IDF大会上展示了支持8核16线程Nehalem-EX（代号Beckton）架构CPU的服务器，并表示将从2010年年初开始出货。这次我们的话题就是Nehalem-EX。

■ Nehalem-EX的硬件构成

Nehalem-EX是一款能够在4路系统中可实现32核的8核大型主机级服务器CPU

Nehalem-EX的每个CPU上有8个内核，是能够利用Hyper Threading同时处理16个线程的重量级CPU。由于它的每个物理CPU中有32个内核，再加上支持Hyper Threading，如果四路服务器使用Nehalem-EX的话可以同时处理64个线程。

Nehalem-EX每个CPU中的内核数与现有的Nehalem相同。CPU的一级高速缓存容量为64KB（32KB命令缓存＋32KB数据缓存），二级高速缓存容量为256KB。

但是Nehalem-EX的三级缓存容量与至强5500（代号为Nehalem-EP）稍微不同。至强5500的4个内核总共有8MB的三级缓存容量，而Nehalem-EX每个CPU内核就有3MB的三级缓存，每个三级缓存由总线连接起来，总共有24MB的三级缓存容量。

另外Nehalem-EX在指令集和虚拟化功能方面几乎相同。但是由于Nehalem-EX具备RAS（可靠性、可用性和可服务性）功能，所以增加了RAS相关的命令。

■ QPI：一个CPU中有4个

Nehalem-EX比6核的至强7400的内存带宽和数据库性能分别提高9倍和3倍

编注：我们对这一图表的对比数值持保留态度，同为4核心的5500与5400之间，5500整数性能是5400的1.7倍，浮点性能是后者的2.2倍应该是没问题的，但Nehalem-EX是8核心，7400则是6核心，在多出两个核心，内存带宽达9倍的情况下，Nehalem-EX在整数和浮点性能方面相对于7400的提升幅度居然与5500较5400的幅度一样，实在有些说不通，因此编者怀疑英特尔的这张PPT在数据上出现了问题

Nehalem-EX的每个CPU中有4个QPI（QuickPath Interconnect），每个QPI的数据传送速度为6.4GT/s。

Nehalem-EX利用高速的QPI来连接CPU和I/O集线器。如果是一台4路服务器，它使用3个QPI将服务器插座与CPU连接，另外一个连接I/O集线器。

Nehalem-EX可以说是最适合4路服务器的设计，不过8路服务器也可以选择配置。但是针对8路服务器的应用并不适合于当另一个CPU访问主内存的情况（延迟高）。

Nehalem-EX的架构图。2个IMC拥有各自的2通道内存

Nehalem-EX是以4路服务器为标准，也可用于8路服务器和2路服务器

■ 可实现1TB内存

Nehalem-EX的内存架构。虽然采用的是DDR3内存，但并不是由CPU来直接驱动DDR3内存的，而是由串行接口SMI出来，经过具有串行/并行切换和缓存功能的SMI连接到SMB，DDR3和DIMM都是与SMB相连接的。每个插座可以连接16个DIMM，如果使用的是16GB DIMM，就是256GB的内存容量。要是4个插座的话，总共就是1TB的内存

Nehalem-EX最多支持16个DDR3内存。如果使用了16GB DIMM，每个CPU最大支持256GB的内存。如果为4路服务器装载最大容量，那么就成为内存为1TB的大型计算机级的Intel 64服务器。为此，Nehalem-EX相比至强5500在内存控制器方面作出了很大改动。

至强5500支持3通道的DDR3内存。另一方面Nehalem-EX支持串行连接的Scalable Memory Interface(SMI)，可配置2个Integrated Memory Control(IMC)单元。每个IMC支持两个SMI。SMI因为采用串行接口所以不能连接DDR3内存，因此在这里增加了串行/并行切换、内存缓冲和Scalable Memory Buffer(SMB)连接等功能。DDR3是SMB与CPU连接的。SMB支持2个DDR3内存通道，每个通道可使用2个DIMM。

■ 芯片组支持36条信道的PCI-E 2.0

至强5500采用的是5520的I/O集线器。但是Nehalem-EX为了支持RAS功能采用了开发代号为“Boxboro-EX”的I/O集线器。

I/O集线器支持36信道的PCI-E 2.0接口，带宽可据此自由设定

在I/O方面，Boxboro-EX支持36信道PCI Express 2.0，2GB/s带宽的DMI（Direct Media Interconnect）总线，以及USB、SATA等I/O接口。而PCI Express 2.0的组合很有弹性，可以做成4个PCI Express 2.0×8，也可以做成两个PCI Express 2.0×16。

在一个标准的4插槽的服务器中，可以集成两个I/O集线器（ICH，当然用上3个ICH也没问题），而两个ICH的组合使用，将可以提供最多8个PCI Express 2.0×8插槽与2个PCI Express 2.0×4插槽的高扩展性。

■ RAS功能维持系统持续运转

Nehalem-EX最大的特点就是采用了RAS功能。RAS功能涉及到的不仅仅是CPU，还有QPI、内存和I/O集线器

可以说Nehalem-EX的最大特点就是RAS（Reliabilit，Availability，Serviceability：可靠性、可用性和可服务性）功能了。RAS功能可以在系统的不同组件发生故障的时候将其割离开来，确保系统的持续运行。

Nehalem-EX具备所谓的Corrected Machine Check Interrupts(CMCI)和Recoverable Machine Check Architecture(MCA)功能。

例如，如果Nehalem-EX发生CPU内核之间的冲突，它会检查故障，重新设置CPU，割离导致故障的源头，保持系统的持续运转。当然，这不仅仅需要重新设置硬件，还要检查操作系统方面的问题。

因此，Nehalem-EX的RAS功能需要在操作系统方面的支持。这次IDF大会上展示了Nehalem-EX在VMware ESX和Windows Server 2008 R2等操作系统下的RAS功能。此外，Nehalem-EX的RAS功能还支持Novell SUSE Linux和Red Hat Enterprise Linux等。

CPU错误通过CMCI传达给操作系统

通过CMCI干涉来进行操作系统恢复

Nehalem-EX的RAS功能不仅仅涉及CPU内核，还有CPU的I/O、QPI、内存和I/O集线器等多个方面。例如，如果与QPI连接的是CPU，那么发生故障的时候不仅要检查QPI，还要检查I/O集线器。然后，如果导致故障的是与QPI连接的CPU，那么就会自动断开这个CPU，再重新设置系统。

内存方面，Nehalem-EX可以隔离开SMI(Scalable Memory Interface)。因此，即使一个DIMM发生故障，每个SMB(Scalable Memory Buffer)也可以被分开。

■ hypervisor也支持RAS

今年年底即将发布的VMware ESX 4.1将支持hypervisor RAS功能。这样如果在CPU内核发生故障，ESX也可以进行恢复

如果出现故障无法重新设置的话，RAS功能会对上层操作系统和hypervisor进行检查以确保系统的持续运行。

VMware ESX和Windows Server 2008 R2的操作系统都支持RAS功能，这样就需要清楚地了解hyperivsor运行在哪个CPU上。例如，没有保存log的话，当某个CPU内核的缓存发生故障就无法检查操作，因此它不知道操作是在哪个CPU上进行的。仅仅割离开故障部分则可能造成系统的死机。

当然，log和很多部分都是关联的，不仅仅是CPU内核，还有相关的内存、QPI和I/O集线器。检查这些log，动态地将故障部分从系统中剥离开，余下的硬件部分继续保持运转。因此，大规模系统就会继续保持IT系统的持续运转而不会造成死机情况。

Nehalem的内存访问采用NUMA架构，未来还将增加针对主内存的碎片整理功能

VMware ESX 4.1采用了Westmere的Trusted Execution Technology技术，可以对hypervisor和添加虚拟机进行检查

Windows Server 2008 R2对Nehalem-EX的RAS功能进行了扩展

■ 经过32nm技术改良的版本将在2010年下半年问世

Intel的服务器CPU路线图

到2010年下半年，Nehalem-EX将升级为32nm的Westmere。Westmere采用了MP技术，配置了12个CPU内核，利用超线程技术的同时还能执行24个线程（开发代号为Eagleton）。

Nehalem-EX不仅带来了RAS特性，而且有可能推动标准化的实施。

如果能够实现标准化的话，不少服务器厂商将推出具有高可靠性和高可用性、同时价位合理的Intel 64服务器。到那时，企业用户将在大型主机中升级采用Intel 64架构。人们对Nehalem-EX的关注不仅集中在虚拟化技术的上，而且还有关键系统方面。