IBM开发GPFS-SNC集群分析平台 应对大数据和云时代

在近日的Supercomputing 2010大会上，IBM为一款新的存储架构揭开神秘面纱。据IBM称，该架构对于大数据和云的分析处理速度提高了一倍。

由IBM Research科学家Almaden创建的这个名为General Parallel File System-Shared Nothing Cluster (GPFS-SNC)的新架构是搭建在IBM并行文件系统集群(GPFS)之上的，融合Hadoop Distributed File System (HDFS)通过集群技术提供高可用性、动态文件系统管理和高级数据复制技术。

在一个分布式计算架构中没有共享集群，其中每个节点都是“自给自足”的。GPFS-SNC在独立节点之间分割任务，无需等待其他节点。

据IBM称，GPFS-SNC可以将“TB容量的纯信息转换成可操作的分析结果，其速度是之前的两倍之多”。

此外，GPFS-SNC设计赢得了Supercomputing 2010 Storage Challeng奖项。Storage Challenge的评价系统是基于性能、可扩展性和存储子系统利用率，以此来决定高性能计算中最具创新型和效率的设计。

IBM ResearchAlmaden将GPFS-SNC描述成一种通用的文件系统，让IBM能够在“所有领域”竞争，不管是针对Google的MapReduce框架，在传统数据仓库环境下针对Oracle的Exadata Database Machine和EMC的Greenplum Data Computing Appliance，或是在云领域。

Sarkar表示，GPFS-SNC的性能是竞争架构的两倍，支持POSIX具备向后兼容性，包括缓存、复制、备份和回复、针对灾难恢复的广域复制等高级存储特性。

Sarkar表示：“这个世界充斥着PB到EB级的大量数据，我们面临有效保存这些数据以便在任何时候快速访问的挑战。这种新的存储分区方式这条道路上向前迈出的一步，因为它可以帮助企业更快速地洞察一切，无需关注传统存储的局限性。”

IBM的GPFS目前被作为IBM Scale Out Network Attached Storage (SONAS)平台的基础，该平台可以在容量和性能方面进行扩展，同时提供对数据的并行访问，以及一个可以管理数十亿份文件和多达14.4PB容量的全局命名空间。此外，它还被用于IBM Information Archive和IBM Smart Business Compute Cloud中。

Sarkar并没有透露GPFS-SNC存储技术何时以何种方式被用于IBM的商用产品组合中。不过，GPFS-SNC确定被用于IBM最近公布的VISION Cloud项目中，该项目旨在开发一种云存储的新方式，其中数据以一种智能目标的形式呈现，包括描述数据内容、目标被处理、复制或者保留方式的信息。

IBM在前段时间公布了VISION项目，与15家欧洲合作伙伴联合开发了一种所谓的“智能云存储架构”。该项目旨在通过更好地了解数据以便在云中交付存储服务。

VISION Cloud存储云架构理念包括：一种丰富对象数据模型；在接近存储内容的地方执行计算操作；以内容为中心的访问；充分的数据互操作性。

IBM位于以色列海法的科学家率先提出VISION Cloud项目，并获得了包括AP AG、Siemens Corporate Technology、Engineering and ITRicity、Telefónica Investigación y Desarrollo、Orange Labs and Telenor、RAI and Deutche Welle以及SNIA Europe标准机构的支持。