灵活的PCIe 3.0与网卡组合

扩展篇：E5-2600系列处理器集成PCIe 3.0，在提高外设扩展能力（连接数、带宽）的同时，也缩短了延迟。PowerEdge R720和R720xd在此基础上，提供了最多7个至少PCIe 3.0 x8的插槽，更采用了可更换的精选网络模块设计，可以根据用户的不同需求灵活的提供相应的网络连接能力，其中10Gb模块的NPAR功能可以在无需改动交换机和操作系统的情况下将一个10Gb网络端口划分成多个端口使用，降低数据中心的线缆数量，也减少对交换机端口的需求，达到简化和降低成本的目的。

过去几年间，英特尔至强（Xeon）系列处理器的发展可以说是突飞猛进，生产工艺和微架构交替进步的“钟摆”（Tick-Tock）战略，使得每一代产品都能从内核数量和单内核性能的提升中获益，而公认进步最大的则非2009年初推出基于45nm工艺和 Nehalem-EP微架构的至强5500/3500系列莫属。

 Intel高端至强处理器的性能提升幅度，而主流的至强5000/E5产品线也不遑多让

 三年时间转眼过去，“钟摆”也摆动了一个完整的周期——工艺从45nm提高到32nm，微架构亦从 Nehalem演进至Sandy Bridge（SNB）。与代号Westmere的至强5600相比，同样采用32nm工艺的至强E5-2600系列内核数量、内存带宽（通道和频率）到用于处理器间互连的QPI有33%到100%的提升，无论CPU本地的处理能力，还是双路CPU之间的通信互联，都得到了巨大的改善。

 与至强5600系列相比，至强E5-2600（Romley EP）平台每CPU的DDR3内存通道从3个增至4个，频率也从1333MHz提升到1600MHz，更重要的是CPU直接提供PCIe 3.0的连接能力，而2个QPI全部用于CPU之间的互连

但是，仅仅CPU-内存子系统的性能飙升是不够的，如果外联的通道不畅，就像“茶壶里倒饺子”，再强劲的性能也要大打折扣。特别是在格外注重横向扩展（Scale-out）能力的云时代，整个计算平台对外连接的带宽和响应速度需要提升到一个新的水平。

 Intel 5520 IOH的使用场景之一：2个QPI分别连接到2个至强5600处理器上，提供36个PCIe 2.0线路

 至强5600处理器通过1个QPI连接5520 IOH，提供36或72个PCI Express（PCIe）2.0线路（lane）。至强E5-2600则是每处理器提供40个PCIe 3.0线路，双处理器配置可达80个。虽然与PCIe 2.0相比，PCIe 3.0的传输率只是从5GT/s提高到了8GT/s，但由于采用了更为高效的编码方式，实际带宽接近倍增的效果，所以至强E5-2600的PCIe带宽比 至强5600提高了一倍有余。并且，因为PCIe 3.0直接挂接在处理器上，省去了QPI和IOH的中间环节，I/O通路缩短的结果是响应时间的下降，有利于改善传输的延迟。

Intel 5520 IOH的使用场景之二：2个至强5600处理器各自用1个QPI接到1个5520，2个5520之间也通过1个QPI互连，共提供72个PCIe 2.0线路

 不难看出，如果说Nehalem-EP微架构将内存控制器（MCH）集成到了CPU中，那么 Romley-EP则进一步在CPU中集成了I/O控制器（IOH）的功能，英特尔称之为IIO（Integrated I/O），辅之以Intel DDIO（Data Direct I/O），可以进一步缩短传输的延迟。

40个PCIe 3.0线路可以4个或8个为单位自由组合成不同的端口，其中端口3a（x4或x8）可配置为NTB（非透明桥）

 至强E5-2600处理器集成PCIe 3.0最直观的好处就是，省去了1或2个IOH的成本和占用空间（以及发热量），却提供了更多的PCIe链路——用2个5520 IOH也就能提供72个PCIe 2.0，2个E5-2600处理器却能直接提供80个PCIe 3.0。这一点，在Dell PowerEdge R720/720xd上得到了很好的体现。

 PowerEdge R720/R720xd主板上的2个x24（左侧）和1个x16（右侧）PCIe 3.0转接卡插槽

 PowerEdge R720xd的3个PCIe 3.0转接卡，左侧的提供3个PCIe 3.0 x8，都属于CPU 2；右上方1个PCIe 3.0 x16（CPU 2）和1个PCIe 3.0 x8（CPU 1）；右下方是1个PCIe 3.0 x16，属于CPU 1。合计CPU 2的40个PCIe 3.0都在，CPU 1只剩24个PCIe 3.0

因为不用在后面保留2个2.5英寸驱动器槽位，PowerEdge R720最靠近CPU 1的转接卡比R720xd多出来一个PCIe 3.0插槽（红色椭圆框中），但这2个都是x8的，与R720xd的1个x16总数相同

这个算术题不难算，40（CPU 2）+ 24（CPU 1）= 64，还有16个（80 - 64）哪里去了？

留给了2个x8的板载专用扩展插槽，都由CPU 1支持——如果该CPU挂掉，它们就都失效了，这是CPU集成PCIe的潜在风险。

 PowerEdge R720/R720xd上的网卡扩展插槽

 这2个专用扩展插槽，一个如前文所述留给SAS RAID卡，另一个留给网卡（NIC）。PowerEdge R720/R720xd没有直接集成在主板上的网卡芯片，而是完全通过专用网卡模块来实现。在这个千兆（GbE）与万兆（10GbE）交替的时代，这种做法具有更好的灵活性，值得借鉴。

PowerEdge R720/R720xd目前支持的网卡模块列表，有全千兆的，也有千兆与万兆混合的，总端口数都是4个

 安装好的网卡模块，芯片朝下，可以看到4个端口的标记

 Broadcom 57800网卡及Dell万兆光学模块