I/O不再是瓶颈

3月中旬，惠普公司宣布正式向国内市场推出其第二款基于惠普“存储网格”体系结构的产品——HP StorageWorks Scalable File Share（HP SFS，可扩展文件共享）。HP SFS采用了新型Linux集群技术（称作Lustre），可提供比通常的集群高100倍的带宽，解决了Linux集群系统中分布式文件系统的I/O挑战，同时简化了Linux集群的使用和管理。

Lustre消除I/O瓶颈
Linux集群系统目前在高性能计算、科研教育、石油石化、银行等领域广泛采用，很多Linux集群项目都可以提供极大的计算能力，例如每秒数万亿次的计算能力。然而，在集群系统中CPU计算能力固然重要，更重要的是I/O能力。而目前许多Linux集群都使用着缓慢的共享I/O技术，如网络文件系统（NFS）或CIFS，以文件为传输协议，通过TCP/IP实现网络化存储，缓慢I/O可能会限制Linux集群的速度和吞吐量，而造成此瓶颈的原因之一就是基于主机或NAS的存储架构，不能满足集群系统的需求。

针对Linux集群对存储系统高性能和数据共享的需求，对象存储文件系统已成为Linux集群系统高性能文件系统的热点，例如由惠普、美国能源部（DoE）和Cluster File Systems公司合作开发的Lustre文件系统就是采用基于对象存储技术，目前Lustre在美国能源部(DOE)、Lawrence Livermore 国家实验室，Los Alamos国家实验室，Sandia 国家实验室，Pacific Northwest国家实验室的高性能计算系统中已得到了初步的应用，而此次惠普推出的 SFS 是首款采用Lustre技术的商业化产品。

Lustre对象存储文件系统由客户端（client）、存储服务器（OST，Object Storage Target）和元数据服务器（MDS）三个主要部分组成。Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互。 Lustre把文件当作由元数据服务器定位的对象，元数据服务器指导实际的文件I/O请求到存储服务器，存储服务器管理在基于对象的磁盘组上的物理存储。由于采用元数据和存储数据相分离的技术，可以充分分离计算和存储资源，使得客户端计算机可以专注于用户和应用程序的请求；存储服务器和元数据服务器专注于读、传输和写数据。存储服务器端的数据备份和存储配置以及存储服务器扩充等操作不会影响到客户端，存储服务器和元数据服务器均不会成为性能瓶颈。

惠普首将Lustre产品化
中国惠普网络存储方案产品部技术中心经理朱圣瑜介绍，HP SFS采用工业标准的ProLiant服务器和HP StorageWorks磁盘阵列，将元数据服务器、存储服务器硬件和Lustre软件等集成在一个产品中，由工厂组装、预先配置，在集群的I/O机架中进行预先布线连接并经过预先测试。同时，HP SFS文件系统经过专门优化，可以提供高出标准NFS服务器10～100倍的带宽。

HP SFS基于开放标准之上，所有的硬件和软件组件都具有优化的冗余设计。目前的HP SFS产品包括两类智能单元配置，一类采用StorageWorks EVA，另一类采用低成本的StorageWorks MSA。这些智能模块可以通过标准的10/100兆或者千兆以太网来相互连接，以及与Lustre客户机（计算集群）进行连接。另外，客户还可以使用高速的技术进行互连，包括InfiniBand、Myrinet和Quadrics ELAN4。

HP SFS 基本机柜包括2个元数据服务器MDS单元 , 2 个存储服务器OSS单元, 可用存储容量达16 TB ，每个HP SFS智能单元都是一个智能存储服务器，运行Lustre协议，在一个共享StorageWorks网格上与其它智能单元并行工作。若要扩展到所需的带宽级别，用户只需简单地增加智能单元即可。

实际应用
Lustre技术已经于一年前在世界上最大的10个Linux集群之一美国能源部西北太平洋国家实验室（PNNL）上投入使用。PNNL的HP Linux超级集群配备了1800多颗安腾2处理器，运算速度可达11 Teraflops（1 Teraflop相当于每秒1万亿次浮点运算），并且可以在单一的53 TB基于Lustre的文件共享（file share）系统中提供每秒3.2 GB/S的带宽来运行生产负载。独立的Linux客户机可以向并行Lustre服务器以650 MB/S的速度来写入数据。这套系统消除I/O带宽瓶颈问题，从而为用户在成百甚至上千台独立的、分布式的文件系统之间拷贝文件节约了大量时间。

2004年6月21日，日内瓦/卡尔斯鲁厄—HP与卡尔斯鲁厄工业大学（TH）签署合约，采用运行Linux系统的HP Integrity服务器帮助该大学组建一个基于安腾2处理器的高性能集群。这套超级计算系统被安装在卡尔斯鲁厄科学超级计算中心（SSCK）中。两年后，这套最终将配置1200颗CPU，整体峰值计算性能预计将达到11 TeraFLOPS，同时其主内存容量将超过7 TB，并将实施基于Lustre的解决方案——一套集中的40 TB高性能并行文件系统。

(责任编辑:张竺)