东方物探赖能和：海量数据处理需要更高的HPC技术 原创

ZDNet至顶网服务器频道 07月28日 新闻消息（文/张锐）： 2014年7月17日到20日，英特尔第八届企业信息技术论坛在安徽黄山举办，在本次论坛上来自能源领域的各位专家、国内著名的高性能计算解决方案提供商以及能源方面的关注者齐聚黄山，就高性能计算技术在能源领域中的应用以及在未来所将面对的挑战进行了深度讨论，ZDNet记者会后有幸采访了中国石油东方地球物理公司研究院处理总中心总工程师赖能和先生。

如今高密度海量数据处理已经成为油气勘探的趋势，在这个趋势下大数据已经成为常态，在未来将会需要更大规模的计算资源，同时需要较之前更加稳定的大规模并行处理系统。中国石油东方地球物理公司研究院处理总中心总工程师赖能和表示，“海量数据处理对HPC的配置要求更高，主要体现在每个计算节点的配置上，还有对网络的要求也非常高，对存储的要求采用高性能并行存储系统。”

提高多核CPU的效率

如今多核CPU被大量的使用，使那些既想提高性能的同时又可以保持IT环境稳定性的客户得到了在业务方面的提升，但是在谈到多核CPU的效率问题时，赖能和表示在提升效率时应利用不同应用软件并行运行，并对节点的内置盘进行技术的改造。

在自身提高软件并行能力的实践上，赖能和表示，“通过软件并行和多线程化提高多核CPU的多核利用效率；CPU+协处理器，这块我们做了一些对比，从CPU和GPU、CPU和MIC、MIC和CPU之间做了对比，目前来说，在采用GPU方面我们用的还是比较成功的，MIC方面我们正在进行测试，软件测试已经完成，下一步会有在这方向进行推广应用。”

重视网络和加速器的选择

Infiniband网络在生活中已经得到了广泛的使用，在能源行业之中所有的CPU+GPU的架构里都采用Infiniband，在规模较小的集群中开始利用万兆的以太网。关于中国石油方面在网络方面的选择上，他表示：“我们通过测试，还是希望把网络性能充分地发挥出来。现在好多软件还不是基于openNPL，所以这样很多性能没有充分发挥。通过测试，Infiniband网络比以太网性能提高大概在2.3倍左右，这是理论测试。”赖能和表示道。

在选择加速器时，很多用户对于程序的迁移有所担心比如工作量太大，，能否在计算方面带来大的提升，赖能和在接受采访时表示，“从CPU版本的平台迁移到GPU平台，工作量还是非常大的。从CPU平台迁移到至强融核平台工作量稍微小一点。”由此可见，至强融核在程序跨平台迁移方面更具有优势。

面对海量数据做到 “三高两大”

HPC技术包括了CPU、服务器、网络和存储，首先需要大规模的数据量，更大的计算资源；在网络方面的选择，越来越快速的网络一定会是未来发展的方向，如今4万兆的网络一定无法完成未来的工作量；存储作为影响海量数据处理中最难点，目前只可以做到在某一种应用
之中可以完成很好的匹配，不能做到面面俱到这是存储方面所欠缺的。

中国石油从2011年开始着手于海量数据的处理，与国外在时间方面基本同步，并且在技术方面与国外水平也不分伯仲。但是在软件成像方面仍是一个海量数据处理方面的短板。

在面对海量数据时，对计算能力提出了更高的要求，做到“三高两大”--高配置、高性能存储、高速网络；大规模的计算节点、大规模的并行系统，在中国石油方面将会投入大量的人力物力来解决面对海量数据时对计算能力的压力。

并行效率的提高

海量数据处理对HPC的并行方面优化和其运行效率是非常重要的，赖能和在采访过程中提出了四点举措来提升并行计算的效率，“第一个是用不同的应用软件，同时在同一个节点上运行，充分发挥它的多核性能。第二个措施是增加内存，增加内存对提高HPC性能效果非常明显。第三个措施是把算法改成并行，这个并行包括两种，一个是数据驱动的并行，一个是算法上的并行。第四个措施把现有的HPC进行技术改造，把现有的千兆数据网升级改成万兆。过去两年我们在这方面进行技术改造，把千兆改成万兆、把内存增加，效果非常明显，性能提升了两倍以上。”

当在谈到过去一年的改变时，赖能和表示英特尔全新的IvyBridge架构处理器(至强E5 v2)对于性能有了很大的提升，而且使用固态硬盘加之算法的优化也使得性能提升了6倍，同时节能30%;在采用至强融核之后，相比原本使用的E5-2670处理器在性能上提升了2.6倍。

在软件开发方面，东方地球物理研究院也投入了大量的工作，特别是在大数据的应用方面已经从最初的能做变为做好。从效率上来说，在掌握了规律和技术之后，在大数据的处理速度方面也大大提升，日常的10TB数据处理起来也很轻松。

虽然HPC技术具有很强的行业专属特性，但赖能和认为，HPC技术并不是只能在能源行业中使用，它有着更广阔的前景，展望未来，他希望随着技术的提升和改进之后 ，会在更多的行业领域中看到HPC技术的身影。