扫一扫
分享文章到微信
扫一扫
关注官方公众号
至顶头条
在近日召开的英特尔2010年高性能计算研讨会上,来自中国石油大庆油田公司勘探开发研究院负责人做了精彩的发言,详细阐述了当前石油高性能计算单位所面临的问题与挑战,以及未来发展的一些新的思路,比如通过虚拟化来降低总体的运维成本,并提高集中的管理效率与安全,这对于石油行业高性能计算单位来说还是比较新鲜的论点。会后,笔者也有幸参加了对大庆油田负责人采访,就相关的一些问题进行了深入沟通。
虚拟化使更多精力和财力放在HPC上
记者:前两年的时候当时也问过关于虚拟化的问题,因为当时考虑到石油行业本身运行的负载就比较重,当时是说虚拟化这些方案在石油行业部署得很少。你今天上午演讲当中,提到现在特别关注这个方案,我不知道在大庆油田这边虚拟化这项技术是怎么使用的,有没有案例?
大庆油田:虚拟化是从去年我们开始比较关注的,因为从石油行业大的应用来讲,可能虚拟化的技术应用不太适合,比如地震资料处理,大规模的解释。但是在石油这个行业有一些应用方面就是这种现场的,属于勘探开发的生产管理,还有一些企业管理,还有一些日常的科研生产管理的应用系统上我们准备尝试一些虚拟化的应用。为什么说到这个呢?比如生产管理系统涉及到很多流程性的东西,从现场传来的一些数据,比如每一口井施工过程当中,数据的量都很少,实时传过来,那边一些作业公司在这口井进行作业的时候,比如他测井、录井,然后分析化验,这些数据他都要传过来,传过来以后,我们现在建立了一个探井运行管理系统。很多专业公司和很多具体施工单位都要对这个系统在不同的节点上产生数据,然后对这个系统进行操作。你如何保证探井生产系统有效运行呢?
比如你原来说用一个服务器,或者用一台4路的服务器做探井的管理系统,不同的公司有可能用的数据管理系统也不一样,它给你传递数据可能也不太一样。你这套系统要承载一天24小时上百人对他进行访问、存取,包括往你这儿写数据,你还要把这些数据实时进行整理发布,因为油公司的副总经理、研究院的总师在上面看流程,看探井的生产工作状态,包括一些图。数据量本身不是很大,但是并发存取比较多,用户比较多。这个时候如何保护这个系统,因为它是一个模块化的结构,分节点进行运作,你若给每个单位都配一个服务器,管理也是一个问题。有的承担管理功能的服务器,可能它数据处理的量比较少,如果说每个节点都配一个服务器,资源的浪费可能会比较大。后来我们考虑用虚拟化。
还有一个就是数据安全的问题,远程的用户或者其他用户,怎么能保证数据的安全不泄密,还有一个很重要的问题,如果你设了多台服务器,当你这个系统升级的时候,或者遭到病毒侵害的时候,你这个系统有可能就瘫痪,尤其现在上面搭载了很多软件,你可能有办公的,多台服务器后台维护就比较困难。如果你要是用虚拟化的技术,平台可能就比较单一了,我就是统一一个平台,比如我就是用Window7 和Windows Server 2008做一个平台,我服务器的维护呢?你可以虚拟出不同的服务器,然后分配给相应特定的用户群。但是这台服务器是一台完整的服务器,管理的话就是针对这个来管理。所以我们现在在生产管理系统,还有科研生产管理系统,比如面向机关工作人员工作的一些系统也都是,如果都是在微机上弄东西的话,后台的数据怎么能够实现集中管理存储。
现在我们的设想是,将来我可能给非生产人员配的机器就是一个瘦客户端,虚拟桌面,后来维护全在服务器上维护,前台只是一个屏幕、一个鼠标、键盘,你的数据全在后台。这样的话你数据也不会被泄密,你后来的升级重新部署,然后重新使用都非常方便。你针对不同的应用,我可能就是用一台高端的服务器,可能把几个部门的信息系统都管起来了,不会像原来似的,比如财务有一套系统,经营管理有一套系统,合同管理又有一套系统,不同的服务器,这些服务器都放在哪?原来是部门都放在自己哪儿,如果我用机架式的管理起来,我都放在中心机房里面,统一的管理,统一的发放资源。
我认为虚拟化在生产管理系统上,和一些承担日常科研工作是比较适合的,比如说通用绘图这个平台,因为油田产生的东西有很多图件,像这种东西用户群体非常大,我做出来的东西我都想绘成标准化的图件,我们的绘图软件过去是网络许可,买了上百个许可大家都在一起用,但是许可是管理,但是数据在哪,怎么用?后来我们改成用虚拟化的方式,比如一个科室或者某一个专业,多少用户放在一个虚拟机上。这些许可都是浮动的,真正同意用许可的人不一定能达到满负荷,这样的话许可证的资源就能得到充分的利用。你后台的这些资源也得到充分利用。通过这种方式,我真正做到虚拟化管理,浮动应用,资源统一管理,这些技术在油田上还是能够得到应用的。目前我们开展这方面的尝试,主要也是最近购进了有30套2路、4路服务器,也买了VMware的虚拟化软件,还有Window Server 2008。目前是处于开始部署应用阶段,准备就是从这几个方面先做一些尝试和应用。
高性能多路服务器的HPC应用前景广阔
记者:今天上午讲了关于多路、多核服务器的尝试,英特尔最新的多路的7500也出来了,和7400有一个非常大的质的改变,想问一下,关于多路、多核服务器,以前用于虚拟化可能会用得到,在你用于数据处理高性能计算的系统上,打算怎么样会配置这些胖节点,有没有想我这个应用在几路几核上搭配效率是最好的?
大庆油田负责人:关于多路服务器应用,我上午讲了几个应用的点。我们准备在这样几方面开展应用:一是数字模拟。原来数模都是用集群做的,我们曾经自己搭过一个集群,后来我们用惠普来集群,去年我们用IBM的集群,都做过。在去年部署数模软件的时候,因为数模软件是按核CPU许可证,相对来说价格是比较贵的。我们去年跟斯伦贝谢合作,尝试了一下,当时我们买的IBM集群上面有8台7400四路的服务器做I/O节点,当时我说你别布到刀片上,你就布I/O节点上试一试,比较一下它俩。一布以后就发现,你迁到以太网连的刀片和在4路的3850上计算了以后,这个速度差了很多,基本上差两倍,后者非常快。因为这个软件改的非常好,因为你这个系统管理上,核也是按CPU排,用户来讲,要选择计算资源的时候发一个并行作业,选CPU号码就行,说准备把这个作业分到CPU1到CPU8做一个作业,8个CPU,所以就是8个核。而且这种数模的计算数据一次准备成型,直接计算数据,密集型的这种CPU,紧密型的这种。所以,过去我们在惠普集群上是15个节点,单CPU,双路的,实际是30个CPU的许可,当时我们是没用英特尔的分析工具把数据抓起来,但是我们自己感觉,一个作业原来是运行50分钟,现在10几分钟就下来了。
我发现了这个问题我就觉得非常好,后来我就跟英特尔他们联系,他们今年3月份到我们那儿做新的7500和5600 CPU的巡回介绍,后来我说你搞一个种子机,做一下这个。后来跟斯伦贝谢和哈利波顿沟通以后,拿了一个种子机和工作站,这是最新的CPU的刀片,一测,将近三到四倍的提高。基于这样,我配一套集群,当年我们配15个节点的集群,上面是光纤网,还配了一个盘阵,一套的东西一百多万,现在如果根据这种模式,我将来做数模的话,我这几个研究室,一个室配一个4路的服务器,32核,我院里有一个许可证的浮动的服务器,只要有并行作业的时候你就都发上来开始算就行了,这样的话,你原来一套集群可能可以买三四套服务器,而且效率非常高。通过跟英特尔合作做这些测试,大规模的地震处理,比如说你要做这种偏移的处理,深度偏、逆时偏可能还得靠集群,还得靠多节点、多核的东西。
英特尔新一代8核心多路处理器Nehalem-EX(至强7500系列)充分体现出了胖节点在高性能计算中的优势
如果是我上午讲的,比如说地震一些属性的计算,地震的反演,AVO的这些东西,这些东西是密集型的计算的东西,以前我们都是在工作站上做,工作站上做一算可能就是一天两天,或者是十几个小时,通过这次我们算了以后,基本上没有超过1个小时的,陈先生也做过测试,我们自己也做过测试。比如说你的反演,AVO的处理,这些东西都属于综合研究性的,都是个别项目组、个别人员去做的,你那个软件许可证也比较贵,比如说一个反演软件,一套就是400多万美金,这种东西不可能一个研究单位配多少套,可能也就那么几套,如果你有了这种平台,计算的效率就高了。过去你在工作站上同样也是买一个许可证,但是你计算可能要花一天的时间,如果现在我有一个高性能的服务器,我一天可能能算出十个方案,这样的话你的投资回报就高了。
所以我们分析了一下,在地震属性的计算、反演和AVO分析,还有三维可视化的地质建模,上午作了一个比较,能提高30到50倍。针对目标研究的综合项目组如果配上这种多路的服务器,可能会带来一种新的提高工作效率的方式和手段。我们目前准备给几个科室先搭建这种环境,他们的领导都非常欢迎,因为数据非常集中,一个研究项目组做的事可能跟别的项目组没有多大区别,如果在整个项目进展过程中所有的数据能够有效的进行管理和存储,还得到自己项目组内部的协同应用,这样对他的工作效率来讲提高了很多。
以前我们是用大机器和大的服务器,项目组就把资源都弄到服务器上来,弄来以后他就会发现,你的数据库比较庞大,数据存的位置也不容易找,多个人同时每天频繁的访问服务器的时候,网络的压力就比较大,打开一个绘画的过程可能得1分钟左右,用户就忍受不了这种东西。我给他设想,我后台的集中管理存储还是必要的,但是我只存有价值的成果数据,就是说这个项目组结束了、验收了、合格签字了,这个井位打下去了,所有资料归档到集中管理的服务器上,作为资料库。面向研究项目组和研究科室建立的这种工作环境、工作库,你在项目开始的时候可以从大库里查询有价值的历史信息下载到你这儿,建一个初步的数据库,然后你再从现场或者从其它得到的数据也集中到这里一起管理。大家在这些收集到最新、最全数据的基础上开展研究工作,利用计算资源和局部的存储资源在这里一起工作。
在工作的过程中,中间检查、汇报,你的数据都在这儿,你可以随时通过网络给相应的主管领导、主管总司进行汇报和展示。最后所有的东西都在这儿,进行有效的管理以后,你到年终的时候,答辩完了以后,你的成果被认可了以后,你可以统一的打包,再归档到后台。这样就建立了一种比较良性的运行工作方式,数据得到充分的利用和保护,提高工作效率。过去大机器集中,这是为什么呢?资源昂贵,大家都在那儿做。终端方式,其实80年代我们引进的东西都是终端、大机,其实那时候就有一些处理器,我认为那个年代思想和理念还是比较合适。后来网络来了,微机出现了,分布了,到现在发现微机上功能越来越强,存的东西越来越多,维护起来成本也越高。一个单位每个员工桌面都有一个人至少两台机器,一台笔记本,一台台式机,如果感染上了病毒,怎么维护、怎么管理?包括一个研究室,我们以前采取的方式都是,数据中心的服务器给你做后台资源,前台就是给你配工作站,张三用这个工作站,李四用那个工作站,彼此之间也没有传递,也没有资源的共享。之后要汇报了,从张三这儿抓一张图,从第四这儿抓一张图,给领导汇报,打印出来画张图挂在那儿,还是那种模式。如果你有一个平台很好的管理起来,直接连到服务器上,我给领导通过一些成果展示的系统,每一个剖面,每一个成果图,加上一些文字的说明,你可能在一个真实的场景上,领导关心的是数据体,就是说你处的景点到底在哪个区域上,你弄个多媒体,你可以随便把点点到你认为最合适的地方,但是数据体显示可不一定是这样的,你那个山体发育的情况到底是怎么样,在这个数据体上可以显示出来。所以要以真实的数据来反映真实的地下情况。
使用这种方式可以使得整个研究和在研究过程中用一些小环境,这个服务器现在功能比较强大,而且配套支持的技术也比较多,像虚拟化的一些技术和网络技术,跟别人的沟通也比较灵活。在今后面向项目组提高工作效率这方面来讲,应用前景还是比较好的。
能源行业对HPC的需求无止境!
记者:今天上午您在演讲开篇的时候讲到石油行业面临的一些问题,尤其谈到您对HPC产业的认识,最后你对HPC市场做了一个展望,因为石油行业是HPC里面应用非常熟地的,不像科研,可能有时候会注重Top500或者一些排名,石油行业给人感觉,它是真正做应用,是真正带来商业价值的。从这个角度来讲,您如何看待国内HPC的产业现状与国际上的现状有个对比,您对国内HPC市场发展有没有什么建议?
大庆油田负责人:这个问题比较大。从我们理解来讲,我们确实是用户单位,下午我插话的时候也讲,我们得讲究适用,你确实有需求,那你就买你所需要的东西。技术的进步和发展你也可以去关心,你怎么能买到高性价比的东西和能够适应新技术应用的东西,所以石油行业的很多应用,包括逆时偏很多年以前就有了,理论的基础都有了,就是因为你的计算资源满足不了大数据量的处理需求,所以它才得不到推广应用。所以对一些勘探对象,比如深海的一些资料,如果你没有这种手段做支撑,可能你处理这些资料根本什么都看不到。比如国内有很多很成功的案例,比如说冀东油田,虽然说现在规模没有当初说的那么大,但是冀东油田就是因为做了一个整体的连片处理,才对整个南湖构造有了重新的认识,差不多花了半年的时间重做了一遍。大庆油田,我们做长垣的地震,大家都说你这个构造太好了,你60年代发现这个油田的时候,你知道大庆油田76年三五千万的时候那个油田才多少口井?不到1万口井,几千口油井,每口井的产量都在50吨到300吨,而且是自喷,海水只有20%到30%,喷出来的全是油,几百米厚的油层,全是油,真是油库。当年开发打了几百口井,那个油田发现以后,当时中央没让开,说作为国家战略储备库,但是到了73年的时候,国家经济非常困难,急需外汇,周总理亲自下令开那个油田,当年就增加了几百万吨的产量。这么好的油田,大家认识的说它很多地质价值,那我对这个油田老清楚了,哪个层位我都清楚,那有没有必要做新的认识呢?做完了以后再拿出来测量,给这些老专家看,他也觉得确实有必要。为什么?你过去解释的断层,你可能就认为这个地方这么连续过来的,实际上它中间是有断的,如果有断的话,这个油层的联通性就会有变化,在断层遮挡的地方可能是剩余油的富积区,后来基于这些新的认识,在这些地方又打了井,仍然能产出50、60吨的产量,而且海水很低,就是跟初期开采一样。所以,寻找剩余油,因为你那个油田太大,而且层比较多,你可能漏掉的那个层,当年你可能说这是薄层,可能没有什么意思,不开,开肥的,就被忽略了。当你经过重新认识以后,你在现在油价的情况下,这种需求下,你那个油田仍然比长庆,比玉门,比新疆好得多,玉门、新疆、长庆那种低渗透,薄层就更差了,一口井一天也就采个一两吨都是好的,但是我们有的层系,产量都在30几吨,10几吨。从效益来讲,大庆油田效益还是最好的,贡献的利润也是最多的。
2009年中国HPC TOP100排名,能源行业有20套进榜,位列第一,可以看出其在中国HPC领域中的地位
你的认识和发展,你对技术的依赖肯定还是不断的有需求。我想中石油,包括三大油公司,将来在国内市场上来讲,可能对高性能计算还是大客户,还是有强烈的需求。比如过去做几十道地震采集,你现在都做到上万道的采集,我们第一个试验区,喇嘛甸炼油区做的100平方公里的采集,做了3400道,然后是100平方公里采集了将近20个T的原始数据,处理出来以后发现了几个新的断层,尤其对那个油环,它是一个汽点油田,对油环的认识比较清楚,因为整个油环是没有开的,汽点还没开,这个说起来比较复杂,油环里面这一圈油,包着中间汽,如果把油环开了,地下压力变得不平衡了,汽层就丧失到到油田里,汽一丧失以后就再也采不出来了。如果你把汽采光了,油又跑出来了,又跑到其他的地方。用什么办法呢,不断用聚合物这些东西,低成本的这些东西,保持这个地层压力的平衡,把油采出来,把汽采出来。现在他们在做的一些实验,在做几平方公里的试验区,基本上在油环里的油采出来的跟原始的一样,都是30吨到50吨产量,海水很低。证明你用水和聚合物做的这种隔障也起到了当年你用油做的隔障的作用,保证了地下压力是一个平衡状态,不丧失。像这些手段都得益于你对地下的准确和清晰的认识和识别,也就是说你对地下的构造、每一个断层,每一个层系都有很清楚的认识。像大庆油田,包括山东、克拉玛依这些老油田,克拉玛依年头更长,也有将近40年,都面临这个问题,但是每年都有新发现。真就是得益于地震的技术。像大庆最近的主攻方向是海拉尔和外蒙,我们在外蒙一上去的时候做了一个全国最大的一个连片采集,3000平方公里,整个把他那块盆地全部采集了一遍,花的钱最多的就是那儿。但是采集完了以后发现了最大的,当年就发现了两个亿的储量,这个是非常大的,而且布的井的成功率是非常高的,基本上都是在30吨到150吨,这几十口探井都非常成功。如果没有这么高质量的地震资料,高密度采集的高精度的资料,加上有效的室内的处理建设,你也不可能有那么大的发现。从需求上来讲,我认为未来十年应该还是有很大的需求。
从我们承担的探区来讲,大庆本身是一块,海拉尔是一块,包括中俄边境的那些规模相对比较小的盆地,但是也都有一些新的发现。还有一些新的资源,比如说煤层气,黑龙江和内蒙的煤非常多,有煤肯定就有气,大家经常听说瓦斯爆炸,那全是气。鹤岗上次爆炸了以后,我们现在打了两口井,就是做煤层气的开采,把气采出来以后,降低井下瓦斯的浓度。这些东西都会需要数据处理和数据应用。而且最近几大油公司效益也不错,我看最新统计,下半年差不多投资了90亿在海外的竞争,现在海外也是我们未来发展的一个方向,最近我们成立了两个中心,一个是苏丹,准备成立一个类似于研究院的单位。还有一个中东,卢麦拉油田整个的作业和今后的作业生产是由大庆油田承担,跟BP合作,BP上次已经去考察过了,现在正在招兵买马,准备队伍。
HPC让我们能找到以前找不到的石油!
记者:刚才你讲对于中国东部这些老油田来说有很大的差异,第一个问题,中石油老说科技,比如说大庆4000万吨的贡献率,又没有一个数字,说你们这样通过高科技提高采收率和新油田的发现应该有一个很大的贡献率,有没有数字?第二个问题,地震有地震的资料,测险有测险的资料,最后定为统一来治理方案,这种关系是怎么处理的我现在不太清楚。
大庆油田负责人:第一个问题,关于科技贡献率。可能科技信息部会有统一数据,因为我们目前正在申报一个国家奖,就是大庆油田持续稳产,进入攻关。国家科技部的初审已经通过了,准备7月中旬可能到现场去评审。从大庆油田来讲,一个是以前得过一个国家特等奖,就是大庆油田高效开发,那是90年代以前。这个可能是从96年以后的。首先,大庆油田从90年代后期以后,每年探明储量基本上保持在1个亿的储量规模,仍然能找到这么多的储量,储量的增长箭头一直是向上的。另外,通过一些开发技术的进步,比如“三支采油”这些技术,还有水区的一些改造技术、压裂的技术、测试的技术,让产量一直保持着比较平稳的增长,海水一直也是在可控的范围,这个经济效益他们算下来以后,这些年在这方面有将近150亿的效益产生。还有社会效益,比如你通过多打井,每次高产量、有效益,解决就业问题,这些都是有效益。关于贡献率,因为我不是搞科技统计的,不太清楚。
关于第二个问题,我们现在为什么能做到数据的整合呢。我们油田制定了一个比较好的政策,所有的服务公司、测井公司、录井公司、钻井公司,你所采集的原始资料,你的第一手的原始资料,包括地震的资料必须交到我们的研究院,所有原始资料在我那儿归档,我那儿签字验收,接收这个资料进行验证,进行有效的存储、整合,全在这儿,所有井的资料,还有地震的资料、测井的资料,所有数据全在。我们通过这几年,尤其做长垣二次开发的项目,实际就是勘探和开发结合在一块。因为长垣做的地震是在采油厂的地面上做的这个东西,你做出来的地震剖面和解释出来的层位,在采油厂搞地质的人非常清楚他那个地方地下的情况,他在那儿,每平方公里可能都有好几口井,井距已经达到300米,他非常清楚他那地下是什么情况,你做出那个东西,那么密的井网的情况下,你做出来的那些东西,你说剩油在哪,你让他看,你得有充分的理由说服他,说这个地方还有,他说不可能,已经采没了,但是你拿出真实的数据以后。我们油田前些年一直做精细油藏评价,每个采油厂都把自己的地价情况重新进行评价,然后绘制出各种各样的数据化的图,用地质建模的方式都建立起来。建立出来以后,你用地震的方式重新建模,它是靠井,井资料做的建模,你不用井,你用地震数据建,建完了以后,你俩一比较,如果很相象,那证明你俩应该是真实的,你用地震的手段也验证了他的油厂建模,井建模的模型。同时,他的东西反过来验证你地震的数据,解释的东西,也是很真实的。但是地震建模要解释出新的东西,比如断层、小断层,还有断层的连续,因为他用井建模有可能建不出来,因为他检查井不是距离很近的,可能就是两口井之间,他认为是联通的,他认为油田地下的误性分析都是对的,但是可能中间就有隔断层,这时候你给他指出来以后,你再打一口井去验证,你就会发现你是对的。长垣这块是由我们开发的老总牵头,勘探的人、地球物理的人配合他去做,就是说你先定一个目标,然后我往目标里靠,现在通过这一结合,我们研究院专门成立了一个油藏评价中心,然后跟采油厂,采油厂地质大队专门成立了一个开发地震的项目组,他们原来不懂地震,现在就得配搞地震的人,他要会看剖面,他要会进行地震解释。这样双方一结合以后,现在等于是在原来依靠井进行精细油藏评价描述的基础上,又开始用勘探的技术跟开发的技术结合,进行新一轮的滚动的油藏评价技术。这试图能找到更多的新层系。在这种形势下,资料的集中统一管理,勘探开发真正的结合,再加上技术平台的支持,我想会带来一些新的变化。所以今天我们油田不是准备成立一个长垣项目部,试图在长垣上再找一找。原来苏辽盆地深层大家认为没东西,但是我们深层不是发现了一个气点,目前已经拿到的储量是3000亿,这也是东部最大的气田,现在已经年产30亿,给哈尔滨供气,今年我们准备给齐齐哈尔供气。气得有用户才能开采,才有价值,如果你找不到下家,就不能开。随着生成,不就有了吗,下面就有了发现,如果你在一些深层系里再找找油,说不定又有认识。
通过更大面积与深度的地震探测,配合更先进的HPC系统,将会让原本很难探测到的地质能源逐渐浮现
美国人说了,美国德克萨斯有很多油田,都上百年了,但是仍然还在生产。老油区已开发的油田仍然是你勘探的主战场,你不可能总盯着新区,试图着在其他地方再找个大庆油田,可能希望不大。但是如果说你在大庆油田这个地方做做工作,再找一个年产几十万吨的小区块,可能这也是很大的一个作用。
记者:高性能计算这块现在好像还是少数,在国际上不是很多行业,在国内石油行业的高性能计算处于什么位置?
大庆油田负责人:从商业应用来讲无疑是属于第一位的。我说的商业应用是指除了科研之外的,也就是说从它的整个规模上来讲和应用水平上来讲,这块据我的知识范围是排在第一位的。
像BGP(东方地球物理)可能属于服务公司的处理中心,可以跟西方进行比拼。油田来讲,作为一个生产研究中心,你的手段也必须比较齐备,这样的话你才能有更好的效益。实际大家都会有投资回报,我们也算这种东西,我们要是说一年处理出来的资料、解释出来的资料,发现一个亿的储量,去年我们用新的连片资料的基础上,我们做的小区块的精细处理和解释,一体化处理解释和三维地质建模,我们在松花江边上,在哈尔滨的边上的一个地区大约有2100平方公里的地方,我们发现了一个整装的5100万吨的储量的油田。你发现这个东西以后,将来可能滚动起来,今年我们准备在那儿打200口开发井。这样的话你带来的效益不就出来了吗,而且初期打的几口井都是接近20、30吨的产量,这个还是非常有价值的。如果你发现一个5000万吨的油田,你采出40%的话,采出来2000万吨,你算算油价是多少钱,你买一套集群,还有什么困难呢。