常用性能测试指标解读与使用价值分析

　　什么是SPEC测试

　　SPEC（The Standard Performance Evaluation Corporation）标准性能评测机构，是国际上对系统应用性能进行标准评测的权威组织，它旨在确立、修改以及认定一系列服务器应用性能评估的标准。目前包括8大测试规范、26种测试模型。

　　该组织成立于1988年，是由斯坦福大学、清华大学、微软、等全球几十所知名大学、研究机构、IT企业组成的第三方测试组织。SPEC经过多年的发展积累，该测试标准得到了全球众多用户的广泛认可。

　　SPEC2004服务器应用性能测试是一个全面衡量Web应用中Java企业应用服务器性能的基准测试，是SPEC2002的升级版本，一个新的行业标准基准测试。

　　SPEC2004测试采用JOPS（每秒总的操作次数）作为测试结果的衡量标准（SPEC2002测试结果的衡量标准与此相同，但表示为TOPS），JOPS为订单事务数加上制造工作订单数，再除以以秒为单位的测试时间。

　　SPEC2004与SPEC2002相比，具有实质区别，它更为严格和完善，更为复杂。 SPEC2004 的测试模型基于一个规模庞大、极为复杂、足以代表现实世界电子商务系统的分布式应用程序。模拟电子化业务工作模型体现了软、硬件平台整体解决方案的性能指标全面衡量应用服务器、数据库服务器硬件各子系统的性能被众多用户作为选择硬件设备的选型指标。

　　SPEC2004测试的价值

　　SPEC服务器应用性能测试是目前业界最标准和权威的基准测试之一。SPEC2004测试的对象是一个可以在实际中直接应用的完整解决方案，包括硬件、操作系统和中间件三个层次。SPEC评测理念核心，即通过平台及方案评测能够给应用提供具有重要参考意义的数据，而不是为了评测而评测。SPEC测试完全模拟现实使用需求，讲求参测系统整体上的性能和在实际应用中的表现，这样用户在购买产品的时候能够根据SPEC的评测数据更真实地了解到自己选择的产品到底在实际应用中表现如何，而不再是只能看到一堆厂商提供的宣传参数。

　　SPEC服务器应用性能测试的测试成绩可以为如下行业应用的系统采购提供重要的参考指标。

　　1. 银行：银行综合业务系统、银行证券交易系统、信用卡业务系统、综合业务计算机网络系统等

　　2. 金融证券：国税统一税收征管系统、基金注册和交易系统平台建设、证券集中交易系统

　　3. 保险：保险企业综合业务系统建设

　　4. 电信：电信计费系统、综合计费帐务系统、客服系统平台建设、用户认证和管理系统、移动计费营业系统、联通综合客服系统、宽带运维系统

　　5. 政府：大中型电子政务系统

　　SPECweb:

　　SPECweb96: 在SPECweb96基准测试程序上实现的每秒钟超文本传输协议（HTTP）操作最多次数，响应时间无明显退化。

　　SPECweb99: 接入数，网络服务器可用预先确定的工作量支持的同时接入数。SPECweb99检测设备模拟客户通过慢Internet联接，向网络服务器发送HTTP工作量请求。

　　SPECweb99 测试Web服务器运行状况

　　SPECweb99 是由标准性能评估组织（SPEC）开发的Web服务器基准测试。它测量满足特定吞吐量和客户请求响应速率要求的WEB服务器的最大并发连接数量。并发连接的合计波特率在320 Kbps到400Kbps范围内，则满足相应规范。

　　SPECweb99 在一台称为主客户端的机器上运行，这台机器上包含有允许用户加载特定负载请求的配置文件。主客户端也要处理在客户端和服务器或测试中的系统（SUT）之间的传输协调问题。客户端通过许多子进程／线程生成独立HTTP请求流，仿真足够的负载发送给SUT。

　　在这个测试中，客户端向测试中的服务器发送请求数据。测试规范要求客户端和服务器之间的连接不能使用片段大小大于1460比特的TCP协议。因此，每一个客户端读取1460比特或更少数据块的响应。

　　测试中使用两种类型的负载量：

　　静态负载. 静态负载具有四种类型的文件。最小的文件的增幅为0.1KB，第二种文件类型的增幅为1KB，最后两种类型的文件的增幅为10KB和100KB。每一个目录包含每种类型9个文件共36个文件。

　　目标请求的文件类型在各类型中分散使用。在每一类中的9个文件中又进行二次分布。最终目标文件混合为：

　　35％的请求文件小于1 KB

　　50％的请求文件小于10 KB

　　14％的请求文件小于100 KB，但是大于或等于10 KB

　　1％的请求文件小于1000 KB，但是大于或等于100 KB

　　动态负载.动态负载是基于广告和用户注册。共有四种在SPECweb99中使用的请求内容类型，分别是标准动态取操作、动态随机取操作、动态发送操作和客户图形接口动态取操作。标准动态取操作和客户图形接口动态取操作表现web服务器的简单广告轮转特性。带有广告轮转的动态取操作追踪用户和用户选择，所以广告可以由不同的方式来定制。最终，动态发布实施一个用户注册在相应的网站上。