科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网服务器频道高性能计算大庆油田:HPC将会让我们找到更多的石油!

大庆油田:HPC将会让我们找到更多的石油!

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

在近日召开的英特尔2010年高性能计算研讨会上,来自中国石油大庆油田公司勘探开发研究院负责人做了精彩的发言,详细阐述了当前石油高性能计算单位所面临的问题与挑战,以及未来发展的一些新的思路,这对于石油行业高性能计算单位来说还是比较新鲜的论点。

作者:赵效民 来源:ZDNet【原创】 2010年7月2日

关键字: 英特尔 高性能计算

  • 评论
  • 分享微博
  • 分享邮件

在本页阅读全文(共4页)

高性能多路服务器的HPC应用前景广阔

记者:今天上午讲了关于多路、多核服务器的尝试,英特尔最新的多路的7500也出来了,和7400有一个非常大的质的改变,想问一下,关于多路、多核服务器,以前用于虚拟化可能会用得到,在你用于数据处理高性能计算的系统上,打算怎么样会配置这些胖节点,有没有想我这个应用在几路几核上搭配效率是最好的?

大庆油田负责人:关于多路服务器应用,我上午讲了几个应用的点。我们准备在这样几方面开展应用:一是数字模拟。原来数模都是用集群做的,我们曾经自己搭过一个集群,后来我们用惠普来集群,去年我们用IBM的集群,都做过。在去年部署数模软件的时候,因为数模软件是按核CPU许可证,相对来说价格是比较贵的。我们去年跟斯伦贝谢合作,尝试了一下,当时我们买的IBM集群上面有8台7400四路的服务器做I/O节点,当时我说你别布到刀片上,你就布I/O节点上试一试,比较一下它俩。一布以后就发现,你迁到以太网连的刀片和在4路的3850上计算了以后,这个速度差了很多,基本上差两倍,后者非常快。因为这个软件改的非常好,因为你这个系统管理上,核也是按CPU排,用户来讲,要选择计算资源的时候发一个并行作业,选CPU号码就行,说准备把这个作业分到CPU1到CPU8做一个作业,8个CPU,所以就是8个核。而且这种数模的计算数据一次准备成型,直接计算数据,密集型的这种CPU,紧密型的这种。所以,过去我们在惠普集群上是15个节点,单CPU,双路的,实际是30个CPU的许可,当时我们是没用英特尔的分析工具把数据抓起来,但是我们自己感觉,一个作业原来是运行50分钟,现在10几分钟就下来了。

我发现了这个问题我就觉得非常好,后来我就跟英特尔他们联系,他们今年3月份到我们那儿做新的7500和5600 CPU的巡回介绍,后来我说你搞一个种子机,做一下这个。后来跟斯伦贝谢和哈利波顿沟通以后,拿了一个种子机和工作站,这是最新的CPU的刀片,一测,将近三到四倍的提高。基于这样,我配一套集群,当年我们配15个节点的集群,上面是光纤网,还配了一个盘阵,一套的东西一百多万,现在如果根据这种模式,我将来做数模的话,我这几个研究室,一个室配一个4路的服务器,32核,我院里有一个许可证的浮动的服务器,只要有并行作业的时候你就都发上来开始算就行了,这样的话,你原来一套集群可能可以买三四套服务器,而且效率非常高。通过跟英特尔合作做这些测试,大规模的地震处理,比如说你要做这种偏移的处理,深度偏、逆时偏可能还得靠集群,还得靠多节点、多核的东西。

英特尔新一代8核心多路处理器Nehalem-EX(至强7500系列)充分体现出了胖节点在高性能计算中的优势

如果是我上午讲的,比如说地震一些属性的计算,地震的反演,AVO的这些东西,这些东西是密集型的计算的东西,以前我们都是在工作站上做,工作站上做一算可能就是一天两天,或者是十几个小时,通过这次我们算了以后,基本上没有超过1个小时的,陈先生也做过测试,我们自己也做过测试。比如说你的反演,AVO的处理,这些东西都属于综合研究性的,都是个别项目组、个别人员去做的,你那个软件许可证也比较贵,比如说一个反演软件,一套就是400多万美金,这种东西不可能一个研究单位配多少套,可能也就那么几套,如果你有了这种平台,计算的效率就高了。过去你在工作站上同样也是买一个许可证,但是你计算可能要花一天的时间,如果现在我有一个高性能的服务器,我一天可能能算出十个方案,这样的话你的投资回报就高了。

所以我们分析了一下,在地震属性的计算、反演和AVO分析,还有三维可视化的地质建模,上午作了一个比较,能提高30到50倍。针对目标研究的综合项目组如果配上这种多路的服务器,可能会带来一种新的提高工作效率的方式和手段。我们目前准备给几个科室先搭建这种环境,他们的领导都非常欢迎,因为数据非常集中,一个研究项目组做的事可能跟别的项目组没有多大区别,如果在整个项目进展过程中所有的数据能够有效的进行管理和存储,还得到自己项目组内部的协同应用,这样对他的工作效率来讲提高了很多。

以前我们是用大机器和大的服务器,项目组就把资源都弄到服务器上来,弄来以后他就会发现,你的数据库比较庞大,数据存的位置也不容易找,多个人同时每天频繁的访问服务器的时候,网络的压力就比较大,打开一个绘画的过程可能得1分钟左右,用户就忍受不了这种东西。我给他设想,我后台的集中管理存储还是必要的,但是我只存有价值的成果数据,就是说这个项目组结束了、验收了、合格签字了,这个井位打下去了,所有资料归档到集中管理的服务器上,作为资料库。面向研究项目组和研究科室建立的这种工作环境、工作库,你在项目开始的时候可以从大库里查询有价值的历史信息下载到你这儿,建一个初步的数据库,然后你再从现场或者从其它得到的数据也集中到这里一起管理。大家在这些收集到最新、最全数据的基础上开展研究工作,利用计算资源和局部的存储资源在这里一起工作。

在工作的过程中,中间检查、汇报,你的数据都在这儿,你可以随时通过网络给相应的主管领导、主管总司进行汇报和展示。最后所有的东西都在这儿,进行有效的管理以后,你到年终的时候,答辩完了以后,你的成果被认可了以后,你可以统一的打包,再归档到后台。这样就建立了一种比较良性的运行工作方式,数据得到充分的利用和保护,提高工作效率。过去大机器集中,这是为什么呢?资源昂贵,大家都在那儿做。终端方式,其实80年代我们引进的东西都是终端、大机,其实那时候就有一些处理器,我认为那个年代思想和理念还是比较合适。后来网络来了,微机出现了,分布了,到现在发现微机上功能越来越强,存的东西越来越多,维护起来成本也越高。一个单位每个员工桌面都有一个人至少两台机器,一台笔记本,一台台式机,如果感染上了病毒,怎么维护、怎么管理?包括一个研究室,我们以前采取的方式都是,数据中心的服务器给你做后台资源,前台就是给你配工作站,张三用这个工作站,李四用那个工作站,彼此之间也没有传递,也没有资源的共享。之后要汇报了,从张三这儿抓一张图,从第四这儿抓一张图,给领导汇报,打印出来画张图挂在那儿,还是那种模式。如果你有一个平台很好的管理起来,直接连到服务器上,我给领导通过一些成果展示的系统,每一个剖面,每一个成果图,加上一些文字的说明,你可能在一个真实的场景上,领导关心的是数据体,就是说你处的景点到底在哪个区域上,你弄个多媒体,你可以随便把点点到你认为最合适的地方,但是数据体显示可不一定是这样的,你那个山体发育的情况到底是怎么样,在这个数据体上可以显示出来。所以要以真实的数据来反映真实的地下情况。

使用这种方式可以使得整个研究和在研究过程中用一些小环境,这个服务器现在功能比较强大,而且配套支持的技术也比较多,像虚拟化的一些技术和网络技术,跟别人的沟通也比较灵活。在今后面向项目组提高工作效率这方面来讲,应用前景还是比较好的。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章