曙光：将HPC技术优势延伸到大数据领域

ZDNet至顶网服务器频道 11月19日 评论分析（文/王涛）： 2013年全国高性能计算学术年会（HPC China2013）围绕着高性能计算技术的研究进展与发展趋势、高性能计算的重大应用等主题展开，并集中探讨了高性能计算与大数据之前的紧密联系，在会上TOP100榜单正式发布，从公布的榜单来看，曙光第五次蝉联TOP100系统占有率第一。

“高性能计算完美契合了大数据在运算能力、高性能存储等方面需求，而大数据则给高性能计算提供了新型商业市场，有助于推动高性能计算拓展新的市场蓝海，两者在产业生态链上的紧密衔接可以很好的推进信息资源组织模式的深入变革与发展。”在接受媒体采访时，曙光副总裁邵宗有这样说道。

曙光副总裁邵宗有

将高性能计算技术应用到大数据领域

毫无疑问，大数据已经成为很多行业关注的热点话题，如何利用IT技术将大数据进行分析利用是IT供应商最迫切解决的问题。目前，大数据的容量可达到PB级，这些大容量数据的存储、处理会对用户的计算系统产生极大负担，建立在普通计算能力基础上的系统往往无法满足大数据的需求，更无法为用户获取价值以实现领先于他人的优势。

邵宗有表示：“在应对大数据挑战的过程中，高性能计算可以起到重要作用。从数据的存储与处理的角度来说，采用高性能计算系统不仅可以大幅降低大容量存储的成本，而且其处理数据、传输数据、恢复数据的速度会远远超过普通的计算系统。在过去完整恢复一块硬盘的速度可能需要48个小时，但融合了曙光高性能计算技术的存储产品，能将时间控制在十几分钟，显著降低了大规模集群存储系统中用户运维的压力，提高了系统效率。”

此外，高性能计算还可以为大数据应用中的数据同化问题提供解决思路。在大数据采集系统中，可能各个采集设备采集的数据在格式与类型上都是不一样的，将这些不同的数据进行统一会消耗大量的计算资源。而高性能计算在数据同化方面已经取得重要进展，其同化的速度和精确性已经能保持在一个很高的水平，其发展成果“嫁接”到大数据中会产生巨大的价值，并推动实现数据的组织和管理，基础架构，决策支持和自动化界面和分析。

从今年5月底曙光发布全新的XData大数据一体机以来，目前在金融、通信、政府等部门中已经产生了多个应用案例，甚至在军队和警察系统中也开始应用并发挥了很好的效果。除了这些行业之外，卫生、交通、安全等领域也是曙光今年的重点突破方向。目前，曙光的策略是先期在部分特殊行业和特殊应用中，使用XData大数据一体机作为样板，起到桥头堡的作用。

“曙光长期致力于把高性能计算与现在主流的IT趋势结合起来，这样才能不断地在整个排行榜上上升。当然我们在过去两年里面抓互联网抓的很好，云计算也抓的好，明年也会看到大数据机器就会发展起来。”邵宗有说道。

重视平台的标准化

正如邵总的观点，近几年，高性能计算从非常小众化的应用正在向互联网、金融、生物等新型领域拓展，而且这样的需求已经越来越多。邵总透露，曙光目前就正在与河南移动、农业银行等部门进行高性能计算和大数据分析的合作，这显然并非是传统高性能计算所能够涉及的领域。

对于任何一种技术概念，应用都是其体现最终价值的落脚点。目前，大数据正在处于从概念到应用的过渡时期，大数据应用在产业成熟度、用户接受度、系统易用性等方面都存在着很多障碍。

为了推进高性能计算与大数据的融合发展，改善大数据应用环境，目前曙光已经发布“平台一体，智汇应用”的行业大数据战略，并通过软硬件结合的一体化平台作为支撑。其中，硬件XData大数据一体机采用成熟的高性能计算机和高性能存储系统作为基础，在软件上则整合了高性能操作系统与Hadoop软件。

Hadoop目前被视为目前应对大数据的软件框架标准，邵总认为，关于大数据处理的整个架构标准，虽然过程中有Hadoop标准，但广义的Hadoop只是一个框架，狭义的Hadoop可能只是一个方位存储，其实他对于业界的指导有，但还是不能够形成统一的指导作用。曙光也呼吁行业能够达成共识，通过制订国家标准使得行业的行为得以规范，这才能达到良性发展的效果。