性能强大 惠普DL380 G6机架服务器评测

　　【IT168评测中心】对于HP（Hewlett-Packard，惠普）而言，ProLiant无疑就是其x86服务器的代名词。在强劲的新Intel Nehalem-EP平台发布之后，惠普很快推出了对应的服务器产品：采用Nehalem-EP至强5500系列处理器的HP ProLiant G6系列服务器，G6意味着它属于第六代，和上一代相比性能提升了一倍以上，并集高性能、高可用、以及高效节能等特性于一身。

HP DL380 G6服务器

　　DL380 G6是第六代惠普服务器当中的2U机架经典产品（2U服务器是最主流的规格之一），DL380 G6保持了ProLiant卓越工业化设计的理念，灵活高效且功能强大。

HP DL380 G6内部结构

　　HP ProLiant DL380 G6的主要技术规格：

　　支持双路LGA1366 Intel Xeon 5500系列处理器

　　18个DIMM插槽，最高支持144GB R-ECC DDR3内存，支持镜像内存功能

　　六个外部全高扩展槽，可以提供从x8到x16的插槽配置，提供极高带宽的I/O能力

　　HP Smart Array P410i阵列卡，支持最新的SAS 6Gb/s技术，支持RAID 6，可以配置256MB或512MB的大容量缓存并具备BBU

　　两个双端口千兆网络适配器，基于强劲的BCM5709C芯片，具有普通的TOE卸载引擎以及iSCSIoE卸载引擎和RDMA引擎，并支持RSS、MSI/MSI-X特性

　　八个2.5" SAS热插拔硬盘槽，提供出色的单槽IOps性能以及卓越的阵列IO性能，并能支持SATA硬盘

　　下面我们就来看看这台服务器的性能。

HP ProLiant DL380 G6服务器，2U规格，它的兄弟DL360 G6则是1U规格

做工精良的前面板

　　复杂的指示灯，可以支持显示处理器、内存条、风扇、网络、电源单元、温度等工作状态，在一个小方块内一共具有35个指示灯！

HP OEM的2.5"硬盘，容量146GB，转速10000RPM

　　背板，具备6个全高扩展槽、两个冗余电源的位置，并提供了4个千兆网络端口和一个百兆的远程管理端口

通过前方的风扇阵列建立一个从前到后的风道，这些直接对着内存条和CPU吹

冗余电源

4个热插拔风扇，可以热更换

风罩也是服务器内常见的东西

通过Riser提供全高的扩展卡配置能力

　　Intel Xeon E5540，Nehalem架构，频率2.53GHz，45nm 4核心8线程，支持Turbo Boost睿频技术，内置三个DDR3内存通道，具备强劲的性能

　　ECC DDR3-1333内存，DL380 G6一共可以支持18根8GB的R-ECC DDR3内存，总容量可以达到144GB

　　Broadcom BCM5709C双口千兆网卡，如前面所说，具有普通的TOE卸载引擎以及iSCSIoE卸载引擎和RDMA引擎，并支持RSS、MSI/MSI-X特性

　　HP Smart Array P410阵列卡，提供8个SAS 6Gb/s接口，带有BBU，支持RAID 5、6、50、60等各种乱七八糟的阵列方式，可以搭配256MB或者512MB容量的缓存

　　在2009年秋我们IT168评测中心网络实验室搬迁到新的机房之后，我们又对实验室的服务器测试平台进行了大幅度的升级，先是将已有的Cisco Catalyst 4506千兆交换机升级到3个模块，达到了一共120个千兆网络端口，还新购买了30台DELL PowerEdge T100服务器，配合原有的30台DELL PowerEdge SC430服务器以及30台PC作为网络测试的客户端，可以提供非常充足的测试压力。

网络实验室控制台

网络实验室机房

Cisco Catalyst 4506千兆交换机，120个千兆铜口

部分Dell PowerEdge SC430服务器

　　在新的测试环境下，我们进一步完善了服务器性能测试方案：

　　SPEC CPU2006 v1.0.1

　　SPEC是标准性能评估公司（Standard Performance Evaluation Corporation）的简称。SPEC是由计算机厂商、系统集成商、大学、研究机构、咨询等多家公司组成的非营利性组织，这个组织的目标是建立、维护一套用于评估计算机系统的标准。

　　SPEC CPU 2006是SPEC组织推出的CPU子系统评估软件最新版，我们之前使用的是SPEC CPU 2000。和上一个版本一样，SPEC CPU 2006包括了CINT2006和CFP2006两个子项目，前者用于测量和对比整数性能，而后者则用于测量和对比浮点性能，SPEC CPU 2006中对SPEC CPU 2000中的一些测试进行了升级，并抛弃/加入了一些测试，因此两个版本测试得分并没有可比较性。

　　SPEC CPU测试中，测试系统的处理器、内存子系统和使用到的编译器（SPEC CPU提供的是源代码，并且允许测试用户进行一定的编译优化）都会影响最终的测试性能，而I/O（磁盘）、网络、操作系统和图形子系统对于SPEC CPU2006的影响非常的小。

　　SPECfp测试过程中同时执行多个实例（instance），测量系统执行计算密集型浮点操作的能力，比如CAD/CAM、DCC以及科学计算等方面应用可以参考这个结果。SPECint测试过程中同时执行多个实例（instances），然后测试系统同时执行多个计算密集型整数操作的能力，可以很好的反映诸如数据库服务器、电子邮件服务器和Web服务器等基于整数应用的多处理器系统的性能。

　　我们在被测服务器中安装了Intel C++ 10.1.025 Compiler、Intel Fortran 10.1.025 Compiler这两款SPEC CPU 2006必需的编译器，通过最新出现的QxS编译参数，Intel Compiler 10版本开始支持对Intel SSE4指令集进行优化（假如只支持SSE3，则使用QxT编译参数）。我们另外安装了Microsoft Visual Studio 2003 SP1提供必要的库文件。按照SPEC的要求我们根据自己的情况编辑了新的Config文件，使用了较多的编译选项。我们根据被测系统选择实际可同时处理的线程数量，最后得到SPEC rate base测试结果（基于base标准编译，SPEC base rate测试代表系统同时处理多个任务的能力）。

　　和其它测试部件不同，SPEC CPU 2006需要大量的系统物理内存，我们的SPEC测试在64位的Windows Server 2008 R2 Datacentere下完成，对于每个运算核心，最低配置1.5GB内存。

　　SiSoftware Sandra v2010

　　SiSoftware Sandra是一款可运行在32bit和64bit Windows操作系统上的分析软件，这款软件可以对于系统进行方便、快捷的基准测试，还可以用于查看系统的软件、硬件等信息。从2007开始，Sandra的Arithmetic benchmarks增加了对SSE3&SSE4 SSE4的支持，在Multi-Media benchmark中增加了对于SSE4的支持，另外还升级了File System benchmark和Removable Storage benchmark两个子项目。对于新的硬件的支持当然也是该软件每次升级的重要内容之一，SiSoftware Sandra 2010对NUMA架构以及最新的Windows 7/Windows Server 2008 R2提供了更好的支持，此外测试项目和测试结果也有了略微的变化。SiSoftware Sandra所有的基准测试都针对SMP和SMT进行了优化，最高可支持32/64路平台。

　　WebBench v5.0

　　WebBench是针对服务器作为Web Server时的性能进行测试，我们在被测服务器上安装了IIS组件，以提供测试所需的Web服务。在测试中我们使用了网络实验室中的60台客户端，配置了120个测试引擎，分别使用了WebBench 5.0内置的动态CGI以及静态页面脚本对服务器进行了测试。

　　静态测试是由客户端读取预先放置在服务器Web Server下的Web页面（wbtree），这项测试主要考察的是服务器磁盘系统以及网络连接性能。我们使用了实验室中的56台客户端，配合Static_mt.tst多线程静态脚本测试向被测服务器发送请求。

　　动态测试偏重于对服务器CPU子系统的性能测试，它对于Web服务器提供了足够的负载。我们将一个C语言编写的CGI源文件Simcigi.c编译为Simcgi.exe，并将其作为动态测试中的CGI脚本。在测试过程中，每台安装了WebBench客户端软件的PC，会在300秒的时间内持续向服务器发送CGI请求，而控制台会纪录并汇总服务器所响应CGI请求的数据。CGI测试的成绩高低，主要取决于服务器处理器子系统性能的优劣。处理器子系统包括CPU、内存以及内存控制器，CPU频率、缓存以及内存容量大小和内存带宽，都会影响该项成绩。

　　NetBench v7.03

　　NetBench是针对文件服务器的性能测试软件，影响NetBench性能的主要是服务器的磁盘子系统，服务器磁盘控制器、条带大小、读写缓存、硬盘类型、组建磁盘阵列模式、内存容量、网络拓朴结构等都会对测试结果有明显的影响。我们在被测服务器上设立了文件服务器，NetBench通过网络实验室中60台客户端配置共120个测试引擎来模拟网络中的PC向文件服务器所发出的文件传输请求，文件服务器则将存储在磁盘上的文件数据发送给相应的客户端。在测试过程中，客户端会以每四台一组的步进依次增加并且向服务器发送文件传输请求，测试结束后控制台收集数据并绘制出服务器的数据传输变化曲线。

　　CineBench R10

　　CineBench是基于Cinem4D工业三维设计软件引擎的测试软件，用来测试对象在进行三维设计时的性能，它可以同时测试处理器子系统、内存子系统以及显示子系统，在服务器测试平台中显示子系统不重要，因此就只有前两个的成绩具有意义。和大多数工业设计软件一样，CineBench可以完善地支持多核/多处理器，它的显示子系统测试基于OpenGL。

　　系统功耗监测

　　我们使用UNI-T UT71E智能数字万用表对于被测服务器系统的整体功耗进行了监测，利用随机附带的接口程序，我们可以记录被测服务器任意时间段内的功率变化。

　　测试平台、测试环境

　　测试分组

　　类别 HP ProLiant DL380 G6服务器

　　双路Intel Nehalem-EP

　　Xeon E5540

　　DELL PE 2900 III基准

　　双路Intel Harpertown

　　Xeon E5430

　　处理器子系统

　　处理器 双路Intel Xeon E5540 双路Intel Xeon E5430

　　处理器架构 Intel 45nm Nehalem Intel 45nm Penryn

　　处理器代号 Gainestown Harpertown

　　处理器封装 Socket 1366 LGA Socke 771 LGA

　　处理器规格 四核 四核

　　处理器特性 MMX,SSE,SSE2,SSE3,SSSE3,

　　SSE4.1,SSE4.2,EM64T,VT,VT-d

　　MMX,SSE,SSE2,SSE3,SSSE3,

　　SSE4.1,EM64T,VT

　　主频 2.53GHz 2.66GHz

　　Turbo Boost主频

　　(四核心)

　　2.66GHz -

　　Turbo Boost

　　主频

　　(单/双核)

　　2.80GHz -

　　处理器外部总线 2xQPI 2.0

　　2.93GHz

　　5.86GT/s

　　单向11.73GB/s

　　双向23.46GB/s

　　FSB

　　333MHz

　　1333MT/s

　　10.6GB/s

　　L1 D-Cache 4x 32KB

　　8路集合关联

　　4x 32KB

　　8路集合关联

　　L1 I-Cache 4x 32KB

　　4路集合关联

　　4x 32KB

　　8路集合关联

　　L2 Cache 4x 256KB

　　8路集合关联

　　2x 6144KB

　　16路集合关联

　　L3 Cache 8MB

　　16路集合关联

　　主板型号 HP ProLiant DL380 G6 DELL PE 2900 III

　　芯片组 Intel Tylersburg-36D

　　IOH:Intel E5520

　　ICH:Intel ICH10R

　　MCH:Intel 5000X

　　ICH:Intel ESB6321

　　芯片特性 IOH:

　　2x QPI

　　36x PCI Express Gen2 Lanes

　　VT-d Gen 2

　　ICH:

　　6x PCI Express Gen1 Lanes

　　2x FSB1333

　　PCI Express Gen1 Lanes

　　12MB Snoop Filter

　　VT-d Gen 1

　　内存控制器 CPU集成三通道R-ECC DDR3-1066

　　主板最大容量144GB

　　北桥集成四通道FBD DDR2-667

　　最大容量64GB

　　内存 2GB ECC DDR3 1066 SDRAM x6 2GB FBD DDR2 667 SDRAM x4

　　系统磁盘子系统

　　磁盘控制器 HP SmartArray P410 RAID Controller DELL Perc 5/i RAID Controller

　　磁盘控制器规格 8x SAS 6Gb/s

　　256MB RAM

　　PCIe 2.0 x8

　　RAID 0/1/3/5/6/50/60

　　LSI 1068 SAS

　　Intel IOP333

　　500MHz ARM

　　256MB RAM

　　8x SAS 3Gb/s

　　RAID 0/1/3/5

　　磁盘控制器设置 PCIe 2.0 x4

　　MSI

　　RAID 5

　　RAID 5

　　磁盘控制器驱动

　　HP SmartArray Driver LSI SAS

　　3.8.0.64

　　磁盘 HP HGS

　　HGS-HUC103014CSS60 x3

　　Seagate

　　Cheetah 15K.5

　　ST314655SS x3

　　磁盘规格 10000RPM

　　146GB

　　SAS 6Gb/s

　　NCQ

　　16MB Cache

　　15000RPM

　　146GB

　　SAS 3Gb/s

　　NCQ

　　16MB Cache

　　磁盘设置 RAID 5

　　SAS 6Gb/s

　　NCQ

　　50GB系统分区

　　SAS 3Gb/s

　　NCQ

　　20GB系统分区

　　网络子系统

　　网络控制器 Broadcom BCM5709C DualPort GbE Controller x2 Broadcom BCM5708C GbE Controller x2

　　网络控制器规格 PCIe 2.0 x4

　　TOE、LSO、CO、RSS、iSCSI Offload、RDMA Offload、iSCSI over RDMA

　　RSS Queue：8(send)/8(receive)

　　MSI/MSI-X

　　BACS Teaming

　　PCI-X 133MHz over PCI Exress x4 Bridge

　　TOE、LSO、CO、RSS、RDMA、iSCSI over RDMA

　　RSS Queue：8(send)/8(receive)

　　MSI

　　BACS Teaming

　　网络控制器设置 PCIe 1.0 x2

　　TOE、LSO、CO、RSS、RDMA Offload

　　RSS Queue：8(send)/8(receive)

　　MSI

　　BACS Teaming

　　TOE、LSO、CO、RSS(8 Queues)

　　MSI

　　BCM5780C x2 BACS Teaming

　　网络控制器驱动 Broadcom Driver 12.26.02

　　BACS3 12.30.11

　　Broadcom Driver 12.26.02

　　BACS3 12.30.11

　　软件环境

　　Microsoft

　　Windows Server 2008 R2 Datacenter Edition(x64)

　　Microsoft

　　Windows Server 2008 Enterprise Edition SP1 x64

　　这个表格的编辑其实很费时间，里面包含了很多要素，有两个重要的地方是：阵列卡和网卡都不是工作在最佳的状态下：PCIE 2.0 x8的SmartArray P410阵列卡工作在PCIE 2.0 x4下，PCIE 2.0 x4的BCM5709C网卡工作在ICH10R的PCIE 1.0 x2下。PCIE 1.0并不支持BCM5709C的MSI-X特性，并且挂在ICH10R上自然不如挂在IOH E5520上好，这可能会影响到性能。

　　Nehalem-EP Xeon我们都很熟悉了，这个CPU是E5540，2.53GHz，QPI的频率是2.93GHz，QPI频率有时高于CPU主频是Xeon的一大特色，桌面版本的Core i7则是反过来

45nm，4核心8线程

未知主板

三通道DDR3-1066

ECC，但是无Registered

两块阵列卡，都工作在PCIE 2.0 x4下

　　两个挂接在ICH10上的BCM5709C双口千兆网卡，工作在PCIE 1.0 x2下；PCIE 1.0不支持MSI-X特性

　　SiSoftware Sandra是一款可运行在32bit和64bit Windows操作系统上的分析软件，它可以对于系统进行方便、快捷的基准测试，还可以用于查看系统的软件、硬件等信息。SiSoftware Sandra所有的基准测试都针对SMP和SMT进行了优化，最高可支持32/64路平台。我们利用了其中多个性能测试模块对于被测系统的性能进行了快速的测试。

　　有一点需要说明的是，Sandra的处理器架构性能测试是根据处理器所能支持的所有指令集中选择进行的，不同的处理器支持的指令集不同，测试使用到的指令集也就不同。例如，Nehalem在这个测试当中就可以使用SSE4.2，而Penryn就只能使用SSE4.1，而用Opteron可能就只能到SSE3了。一般而言，由于可以使用SSE4，Intel的处理器理论性能会比较好。

　　SiSoftware Sandra对比

　　从各方面来说，Nehalem-EP的计算能力都挺强的，具体原因大家都知道：IMC和HTT（集成内存控制器和超线程技术）。

　　SiSoftware Sandra缓存内存测试主要包括内存带宽、内存延迟等性能的测试。

　　SiSoftware Sandra对比

　　嗯……一如既往。

　　我们利用UNI-T UT71E智能数字万用表和相配套的软件对于对于被测服务器在几种不同的状态下的功耗进行了监测，主要包括如下项目：

　　P1：连接电源但不开机状态

　　P2：系统启动完毕，5分钟内无动作，但不休眠

　　P3：系统启动完毕，处理器满载、磁盘以最大吞吐量工作

功耗

　　功耗表现不错，比笔者的Core i7台式机还省电……

　　【IT168评测中心】DL380 G6是第六代惠普服务器当中的2U机架经典产品（2U服务器是最主流的规格之一），DL380 G6保持了ProLiant卓越工业化设计的理念，灵活高效且功能强大。

HP DL380 G6服务器

　　HP ProLiant DL380 G6的性能让人印象深刻，NetBench/WebBench的表现都很强劲，是我们见过的服务器当中属于高性能的一批，这和它采用的多种优秀配件有关：Nehalem-EP架构、SAS 6Gb/s阵列卡、强力双BCM5709C双口千兆网卡。此外，DL380 G6的整体工作设计也非常出色，我们对其感到非常满意。

　　主要部件之一：Nehalem-EP平台，Intel Xeon E5540处理器，频率2.53GHz，45nm 4核心8线程，支持Turbo Boost睿频技术，内置三个DDR3内存通道，具备强劲的性能

　　主要部件之二：HP Smart Array P410阵列卡，提供8个SAS 6Gb/s接口，带有BBU，支持RAID 5、6、50、60等各种乱七八糟的阵列方式，可以搭配256MB或者512MB容量的缓存

　　主要部件之三：Broadcom BCM5709C双口千兆网卡，具有普通的TOE卸载引擎以及iSCSIoE卸载引擎和RDMA引擎，并支持RSS、MSI/MSI-X特性

　　HP ProLiant DL380 G6的主要技术规格：

　　支持双路LGA1366 Intel Xeon 5500系列处理器

　　18个DIMM插槽，最高支持144GB R-ECC DDR3内存，支持镜像内存功能

　　六个外部全高扩展槽，可以提供从x8到x16的插槽配置，提供极高带宽的I/O能力

　　HP Smart Array P410i阵列卡，支持最新的SAS 6Gb/s技术，支持RAID 6，可以配置256MB或512MB的大容量缓存并具备BBU

　　两个双端口千兆网络适配器，基于强劲的BCM5709C芯片，具有普通的TOE卸载引擎以及iSCSIoE卸载引擎和RDMA引擎，并支持RSS、MSI/MSI-X特性

　　八个2.5" SAS热插拔硬盘槽，提供出色的单槽IOps性能以及卓越的阵列IO性能，并能支持SATA硬盘

　　SPEC CPU2006整数运算主要包含编译、压缩、人工智能、视频压缩转换、XML处理等，此外，各种日常操作也主要是基于整数操作。SPEC CPU 2006的整数运算包含了400.perlbench PERL编程语言、401.bzip2 压缩、403.gcc C编译器、429.mcf 组合优化、445.gobmk 人工智能：围棋、456.hmmer 基因序列搜索、458.sjeng 人工智能：国际象棋、462.libquantum 物理：量子计算、464.h264ref 视频压缩、471.omnetpp 离散事件仿真、473.astar 寻路算法、483.xalancbmk XML处理共12项。

SPEC CPU 2006整数运算性能

　　三个平台都使用了相同的软件环境。最后结果也很合理，E5540的性能不及我们的一个X5570基准平台，不仅仅是主频要低（2.53GHz vs 2.93GHz），其支持的内存规格也要更弱（DDR3-1066 vs DDR3-1333）。

　　SPEC CPU2006的浮点运算测试包括的全部都是科学运算，科学运算需要用到大量的高精度浮点数据，如410.bwaves 流体力学、416.gamess 量子化学、433.milc 量子力学、434.zeusmp 物理：计算流体力学、435.gromacs 生物化学/分子力学、436.cactusADM 物理：广义相对论、437.leslie3d 流体力学、444.namd 生物/分子、447.dealII 有限元分析、450.soplex 线形编程、优化、453.povray 影像光线追踪、454.calculix 结构力学、459.GemsFDTD 计算电磁学、465.tonto 量子化学、470.lbm 流体力学、481.wrf 天气预报、482.sphinx3 语音识别共17项测试。

SPEC CPU 2006浮点运算性能

　　E5540比X5570平台差了9%左右，但是频率差了15%，可见同样的CPU架构和芯片组，后测的总是会比早出的占些优势：BIOS更完善、OS平台支持更好。我们的X5570平台是2009年Nehalem-EP发布的官方评测样机，差不多一年了，都没有BIOS更新。

　　CineBench是基于Cinem4D工业三维设计软件引擎的测试软件，用来测试对象在进行三维设计时的性能，它可以同时测试处理器子系统、内存子系统以及显示子系统，我们的平台偏向于服务器多一些，因此就只有前两个的成绩具有意义。和大多数工业设计软件一样，CineBench可以完善地支持多核/多处理器，它的显示子系统测试基于OpenGL。

　　CineBench R10 64bit

　　处理器 HP ProLiant DL3880 G6

　　双路Intel Nehalem-EP

　　Xeon E5540

　　2.53GHz

　　DELL PE2900 III

　　双路Intel Harpertown

　　Xeon E5430

　　2.66GHz

　　CPUBenchmark

　　Rendering (1 CPU) 3810 CB-CPU 2931 CB-CPU

　　Rendering (x CPU) 24673 CB-CPU 16806 CB-CPU

　　Multiprocessor Speedup 6.48x 5.73x

　　OpenGL Benchmark

　　OpenGL Standard 193 CB-GFX 176 CB-GFX

　　服务器测试成绩

　　结果无论是单CPU核心渲染还是多CPU核心渲染都很强。

　　NetBench 7.03 Ent_dm.tst测试脚本模拟的是企业级文件服务器应用，它不但要求被测服务器的磁盘子系统可以提供足够的吞吐量，还需要其具有较高的IO处理能力，并且需要较为平衡的读取能力和写入能力。

NetBench测试：吞吐量

NetBench测试：平均响应时间

　　这个测试成绩非常之高，同样使用四个BCM5708C千兆网卡的基准服务器性能是2600Mbps左右（具体报告还没写，这里先透露一下），而双BCM5709C双口千兆网卡的性能现在达到了3514Mbps，换算过去则是314.25MB/s。要达到这么高的性能，存储子系统和网络子系统的因素不容忽视，HP ProLiant DL380 G6的SAS 6Gb/s阵列卡和BCM5709C网卡的表现确实不错。

　　Web服务器测试分为静态应用测试和动态应用测试，处理器计算能力、缓存内存效能则对于动态应用的性能有明显影响，而IO能力对于静态应用的性能有明显的影响。

　　Web服务器使用了Windows Server 2008 R2自带的IIS 7.5。

WebBench测试：动态处理能力

WebBench测试：动态吞吐量

　　动态页面更多的是消耗处理器资源。测试曲线显示，HP DL380 G6的动态页面处理峰值为21425Rps。作为对比，我们的双路E5430基准服务器只有6000 Rps左右要低。尽管Nehalem-EP架构的威力非常强大，然而BCM5709C的威力也不容忽视：完善的TOE能力。

WebBench测试：静态处理能力

WebBench测试：静态吞吐量

　　静态页面则更多受限于网络带宽——它的处理比较不占CPU。DL380 G6的峰值数据为32354Rps。一般的单千兆网口服务器会被网口限制在18000 Rps上。