E5网络：万兆给力虚拟化，飞入寻常用户家？

摘要：LRDIMM的引入，让E5-2600系列能提供比至强5600系列大一倍的内存容量，对于虚拟化市场是一大促进，同时也对网络带宽提出了更高的要求。测试表明，万兆以太网是虚拟化的一个好帮手，但要尽快让10GBase-T到位才能推动生态环境成熟。

内容：

• LRDIMM与万兆以太网相辅相成；

• 10GBase-T是万兆以太网普及的关键之一；

• 万兆以太网在虚拟化环境中的实效；

• FCoE市场会就此起步吗？

注意：如果还没部署万兆以太网，现在是时候开始评估了。

LRDIMM大肚能容，虚拟机呼唤万兆

一般而言，相邻的两代处理器，具体的每一项核心（CPU、内存）参数，很难能提高一倍那么多——当然，您要非举双核变四核这样极端的例子，我也没有办法。譬如，刚发布的至强E5-2600，内存通道比上一代的至强5600多了一条，基于该平台的主流双路2U机架式服务器配置24个内存插槽，而至强5600的同类产品代表HP ProLiant DL380 G7是18个，维持4:3的比例。可是，具体到最大内存容量，却是768GB对384GB，整整高出一倍！为什么呢？

Inphi技术支持的三星32GB高容量LRDIMM，能够将双路E5平台的内存容量提高到768GB，四路E5（E5-4600）平台更可达1.5TB

32GB三星LRDIMM（DDR3 1333MHz），中部散热片隆起的区域，下面就是Inphi的内存缓冲器

这主要归功于正走向成熟的LRDIMM（Load-Reduced DIMM），目前三星已能做到单条内存32GB（32GB×24=768GB），下一代有望实现64GB。一台2U服务器要这么大的内存容量有什么用呢？比较容易想到的大众化市场是——虚拟化……

我们测试的Intel Server System R2000系统配置了128GB内存，可以运行8个总内存消耗量超过100GB的虚拟机

随之而来的问题是，服务器容纳的虚拟机多了，vMotion能力也要相应提高，这就对网络带宽提出了更高的要求。在虚拟机占用的内存总容量达到几百GB的情况下，服务器板载的三四个千兆以太网（GbE）端口肯定是不够用了，增加更多的千兆网卡，成本和线缆的数量也吃不消，万兆以太网（10GbE）才是解决之道。

三种典型的Intel双端口万兆以太网卡，由远及近依次是：单芯片光纤、双芯片（MAC + PHY）铜缆、单芯片铜缆

板载（LOM）是万兆以太网走向普及的一个必要条件，其决定因素包括芯片个数、占用PCB面积、功耗、是否需要散热等，有些是互相影响的，这里就不详细讨论。即使实现了单芯片，占地和功耗也满足要求，也不意味着万兆以太网就可以普及了，因为能够板载只是必要条件，还不是充分条件。

Intel Server System R2000系统板载下方的四端口千兆以太网控制器I350、左上方的双端口万兆以太网控制器82599，但最值得期待的是右上方的双端口10GBase-T以太网控制器X540

82599提供2个万兆以太网端口，I350提供4个千兆以太网端口，在接下来的测试中会先后用到

充分条件是什么呢？整个生态环境的成熟，特别是使用Cat-6/6a铜缆连接的10GBase-T标准成为主流。

接下来，就让CBSi企业解决方案中心，以实际测试的情况，为您展示万兆以太网对虚拟化应用的巨大价值，和10GBase-T的必要性。

I/O模块轻松扩展，集成万兆难亦不难

从Intel Server System R2000系统后方看过去，一排网络接口处于几乎相同的水平线上，仿佛都是板载的一样。稍一留神不难发现区别：4个千兆以太网接口是板载，2个万兆网络接口和旁边的管理接口都在反向安装的子卡上。

左侧红色椭圆框中是板载千兆接口，右侧红色椭圆框中是万兆接口及其子卡

子卡反向安装在Intel Server Board S2600GZ主板的I/O扩展模块专用插槽上

覆盖着黑色散热片的82599芯片，占地面积并不比2个连接器大，下方是I/O扩展模块连接器

除掉散热片的全貌，对82599芯片的尺寸有更直观的印象

82599ES万兆以太网控制器芯片

连接器里面是空的，没有光纤模块

英特尔公司没有随机提供配合万兆以太网子卡使用的SFP+光纤模块，这不是什么大问题。反正还要借万兆交换机，让交换机厂商多提供几个模块就是了。

从交换机到光纤模块，体验万兆生态圈

在ZDNet网络频道主编陈毅东的帮助下，极进网络（Extreme Networks）公司提供了一台Summit X670-48x-FB 48端口万兆交换机。不过，他们也不能提供SFP+光纤模块，这意味着我们要自己找到至少4个光纤模块。

Extreme Networks Summit X670-48x-FB 48端口万兆交换机

经过多方努力，汉柏科技有限公司提供了4个10GBase-SR SFP+光纤模块。可能我们的情况不具备普遍的代表性，但至少可以反映出一点，即不论相关的万兆网卡和交换机以什么样的途径提供光纤模块，都要计入每端口成本，是一笔不小的开支，要大规模普及，只能靠10GBase-T。不过，这并不妨碍我们进行接下来的测试，因为我们要了解的是万兆以太网在虚拟化环境中的表现，将来可以用成本相对较低的10GBase-T，岂不是更好？

Summit X670交换机与SFP+光纤模块

插入SFP+光纤模块的万兆以太网子卡

万兆连接建立，分别通向两台服务器

万兆网络虚拟机迁移测试配置全貌：2台Intel Server System R2000服务器，各启用1个万兆网络端口，通过Extreme Networks Summit X670交换机建立万兆连接

万兆存储跟不上，迁移只限vMotion

我们设计的虚拟机迁移测试方案是，在2台E5测试平台（Intel Server System R2000服务器）之间建立万兆网络连接，作为专用的vMotion网络，测试迁移1、4、8个特定虚拟机所用的时间，与2个千兆网络连接组成的vMotion网络进行对比，看看有多大的差距。

每台Intel Server System R2000的相关配置

Dell EqualLogic PS6100XV iSCSI存储系统作为共享存储

vMotion和Storage vMotion需要源与目标ESX主机都能访问的共享存储，我们还没拿到支持光纤和10GBase-T的Dell EqualLogic PS6110/4110系列，手头的PS6100XV每控制器只有4个千兆接口，不能测试万兆环境下的Storage vMotion，而只测试虚拟机在主机间的迁移（vMotion）。

受困于万兆生态环境还不够成熟（存储不易得），我们的迁移测试只更改主机（vMotion），不更改数据存储（Storage vMotion）

使用vmnic4建立万兆通讯网络

打开vMotion（其他网络关闭）

在某一时段，万兆网络（上）和双千兆网络（下）只有一个打开vMotion功能，进行对比测试

万兆不仅在效能，FCoE待考察

我们以之前做VMware View 5.0测试时生成的Connection Server虚拟机为蓝本，将内存分配到64GB，克隆到8个，都放在一台前述的ESX主机（Intel Server System R2000服务器）上，全部开机。由于ESX主机内存的限制，每个虚拟机实际占用的内存约为12GB，总量接近100GB。然后，以1、4、8为单位向另一台同样配置的ESX主机上迁移，来回各一次，计算时间。

万兆和双千兆网络迁移虚拟机时间对比

对比的结果初看似乎有些意外，稍稍一想，又在情理之中。在同时迁移的虚拟机数量较少的时候（1个和4个），双千兆网络所用的时间并不到万兆网络的5倍，是因为vMotion一开始现在本地做一些运算和处理，这段时间vMotion网络上流量甚少，万兆网络和千兆网络没有什么区别，消耗的时间是差不多的，然后才开始启动迁移。由于之前用掉了一些时间，万兆网络5倍的带宽优势就被抵消了一些。

如果同时迁移的虚拟机较多（8个），情况就反过来了，双千兆网络所用的时间超过了万兆网络的5倍，甚至接近6倍，又是为什么呢？经过观察，笔者发现，在双千兆网络上，可能是考虑到带宽有限的缘故，vMotion没有同时启动8个虚拟机的迁移，而是分成两批，每批4个。在第一批迁移接近完成，第二批迁移将要启动的时候，“交接”的时间相对较长，导致总用时比照旧“一次过”的万兆网络要更长一些。这可能也说明，在带宽低到一定程度的时候，vMotion行为会变得相对低效，甚至影响可用性？

红色方框内显示了万兆网络（vmnic4，1.2GB/s）与千兆网络（vmnic2，接近120MB/s）峰值速率的对比，正好是10倍的差距。两个红色椭圆框的对比则更直观，左侧是千兆网络迁移的状况，可以看到分两批迁移（每批4个VM），中间的停顿比较长；右侧的万兆网络迁移时间（横轴）短很多，纵轴上的高度（传输率）则显得非常威武

当然，如果把4个千兆以太网口都用来做vMotion，8个虚机就不会分成两批迁移了，可16个虚机的时候呢？更重要的是，万兆以太网不仅带宽高，而且可以支持流量控制，在整体效能不变甚至上升的前提下，用一根网线取代多根网线，减少线缆数量，节省交换机端口，节能且便于管理……前提是万兆以太网的购置成本进一步下调到更多用户可以接受的程度——10GBase-T，要给力呀！

万兆以太网的另一个附加值是支持FCoE（光纤通道以太网），82599和X540都提供了这项特性。因此，在vSphere Client中对ESX主机进行配置时，硬件可添加的“存储适配器”，除了常见的软件iSCSI适配器，原来总是灰色的“添加软件FCoE适配器”也可以选择并添加成功了——前提是有可用的万兆以太网连接存在。而要真正用起来，还需要支持FCoE的存储或桥接设备。

因为软件iSCSI适配器已添加，所以该选项呈灰色

选择可用的万兆端口，否则会报错

软件FCoE适配器添加成功

察看FCoE适配器信息

不难看出，由于时间等条件限制，我们对虚拟化环境下的万兆以太网应用探索还很浅。希望万兆以太网的生态环境尽快完善起来，让CBSi企业解决方案中心能早日为您送上更为详尽的报告。