数值天气预报（NWP）刀片解决方案

1.数值天气预报

数值天气预报（Numerical Weather Prediction, NWP）是根据大气实际情况，在一定初值和边值条件下，通过数值计算，求解描写天气演变过程的流体力学和热力学方程组，预报未来天气的方法。和一般用天气学方法、并结合经验制作出来的天气预报不同，这种预报是定量和客观的预报。预报所用或所根据的方程组和大气动力学中所用的方程组相同，即由连续方程、热力学方程、水汽方程、状态方程和 3个运动方程(见大气动力方程) 共7个方程所构成的方程组。方程组中，含有7个预报量（速度沿x，y，z三个方向的分量u，v，w和温度T，气压P，空气密度ρ以及比湿q）和7个预报方程。方程组中的粘性力F，非绝热加热量Q 和水汽量S一般都当作时间、空间和这 7个预报量的函数。通过高性能计算机求解方程组，获得未来7个未知数的时空分析，即未来天气分布。

数值天气预报与经典的以天气学方法作天气预报不同，它是一种定量的和客观的预报，正因为如此，数值天气预报首先要求建立一个较好的反映预报时段的（短期的、中期的）数值预报模式和误差较小、计算稳定并相对运算较快的计算方法。其次，由于数值天气预报要利用各种手段（常规的观测，雷达观测，船舶观测，卫星观测等）获取气象资料，因此，必须恰当地作气象资料的调整、处理和客观分析。第三，由于数值天气预报的计算数据非常之多，很难用手工或小型计算机去完成，因此，必须要用高性能的计算机。

在中国，1982年开展数值预报业务。目前数值预报已经成为各种业务天气预报的最重要的基础和持续提高业务天气预报准确率的根本途径。

在全球气候变化的大背景下，今年以来中国极端天气事件发生频繁，且呈多灾并发、点多面广的特点，并有多项局部地区灾害强度超过历史纪录。其中包括南方暴雨洪涝，淮河流域性大洪水；北方多省局地强降雨；川渝地区继去年有气象记录以来最严重干旱，今年又最强降雨；北方和南方同时出现长时间、大范围高温干旱；今年雷击致人死亡为历年之最。为了应对这种极端天气气候事件的发生所带来的巨大损失，中国政府已经把防御极端天气气候灾害置于应对气候变化的极端重要位置。今后几年政府在气象、环境、海洋领域的投入将会越来越大，而做为国内高性能计算机领头羊的曙光服务器凭借在气象领域的大力投入和气象领域众多的成功案例，在灾害气候天气的减灾预警上必大有可为。

1.1.中尺度气象预报模式

中尺度气象是现代气象科学中发展迅速的一个重要分支，它所研究的大气中尺度运动，关系到区域重要灾害性天气的生消和发。它一方面应用卫星、雷达、风廓线仪和自动观测站等一系列新的探测工具，通过中尺度野外试验，揭示中尺度观测事实；另一方面通过中尺度数值模式，对中尺度天气过程进行深入的模拟研究和预报试验。随着近年来计算机技术的迅速发展，中尺度数值模式已日趋成熟，成为中尺度气象的一个重要的研究和应用手段。

中尺度数值气象预报模式有许多，其中MM5是目前国内外应用最为广泛的模式，被广泛的应用于国内外各气象部门和相关机构。WRF模式是在MM5模式上发展起来的新一代中尺度模式，它将逐渐的替代MM5模式。

GRAPES模式是中国气象局自主开发的新一代数值预报系统，它是中小尺度与大尺度通用的先进数值预报系统，目前国内很多气象部门已经在对GRAPES进行研究和应用。AREMS模式是气科院武汉暴雨研究所牵头研制的模式，综合考虑了国内外数值模式中复杂地形的处理方法，从而较适合于我国的地形特点，针对水汽过程的重要性和复杂性，建立了特有的水汽传输和显式云雨方案；对江淮流域暴雨过程的预报情况较好。

1.1.1. MM5模式

中尺度气象预报模式MM5是由美国国家大气研究中心(NCAR)和宾夕法尼亚州立大学联合开发的第5代中尺度天气预报模式。

美国国家大气研究中心和宾州大学从七十年代中期起研制中尺度数值模式MM4(早期为MM2)，经过二十多年的不断改进和应用，先后形成了8个版本，这些版本已经被美国大学和科研单位广泛应用于对热带风暴、中纬度气旋锋面系统、暴雨、中尺度对流系统等重要天气过程的中尺度数值模拟以及对环境科学的研究。到了90年代初，在MM4的基础上，进一步研制出了MM5。

MM5是用于气象预报模拟的中小尺度非静力动力气象模式，它是目前气象领域中使用最为广泛的中尺度预报模式。在我国已经建成的有限区域数值天气预报业务系统中，绝大部分都采用该模式作为业务模式。
MM5的最新版本是MM5V3，其研发工作已经停止，继而转向WRF模式。

1.1.2. WRF模式

WRF模式是在MM5模式上发展起来的新一代中尺度模式，是Weather Research Forecasting model的简称。WRF模式系统是由许多美国研究部门及大学的科学家共同参与进行开发研究的新一代中尺度预报模式和同化系统。

WRF模式系统将成为改进从云尺度到天气尺度等不同尺度重要天气特征预报精度的工具，重点考虑1－10公里的水平网格。模式将结合先进的数值方法和资料同化技术，采用经过改进的物理过程方案，同时具有多重嵌套及易于定位于不同地理位置的能力。它将很好的适应从理想化的研究到业务预报等应用的需要，并具有便于进一步加强完善的灵活性。

WRF模式系统具有可移植、易维护、可扩充、高效率、方便的等诸多特性，新的科研成果运用于业务预报模式将变得更为便捷，同时也方便科技人员在大学、科研单位及业务部门之间的交流。

WRF模式作为一个公共模式，由NCAR负责维护和技术支持，免费对外发布。第一版的发布在2000年11月30日。04年5月21日推出了嵌套版本V2.0。05年8月3日推出了V2.1，目前最新版本是06年12月22日发布的V2. 2。

1.1.3. GRAPES模式

GRAPES模式是中国气象局自主开发的新一代数值预报系统。其全名是全球/区域同化预报系统，GRAPES是其英文全称“Global/Regional Assimilation and Prediction Enhanced System”的简称。同时grapes又是“葡萄”的英文，所以我们又称“GRAPES模式”为“葡萄模式”。

GRAPES系统是集常规与非常规变分同化、静力平衡与非静力平衡、全球与区域模式、科研与业务应用、串行与并行计算、标准化与模块化程序、理想实验与实际预报等为一体，中小尺度与大尺度通用的先进数值预报系统。GRAPES系统包括：全球中期天气数值预报系统（全球中期GRAPES）、有限区域中尺度数值预报系统（中尺度GRAPES）等。其预报时效、垂直层次和水平网格距可以根据计算条件和业务需要合理设置和调整。该预报系统的短期目标为在未来3～5年的时间内，建立我国新一代、多尺度统一的数值天气预报系统，可提供空间分辨率达5～100公里、时间分辨率达几小时～10天的数值预报，使预报准确率比现有水平有明显提高。

而GRAPES的长期目标则是持续性地研究开发面向21世纪的我国数值预报系统，不断改进和提高数值预报准确率，为中国气象局的天气-气候预报服务水平的不断提高给予科学理论和技术支撑，以满足国家经济建设和社会发展对气象服务不断增长的需求。

1.1.4. AREMS模式

为了适应当前气象业务发展的需求，中国气象科学研究院武汉暴雨研究所和中国科学院大气物理研究所以REM模式（也称ETA模式）作为基础框架之一发展了AREMS中尺度暴雨数值预报模式系统。该模式在淮河流域、长江流域暴雨预报试验中，使用效果良好。

AREMS的动力框架采用了曾庆存设计的唯一能构造出完全能量守恒时空差分格式的数学模型，具有很好的计算稳定性。模式采用η坐标，能较好地考虑真实地形（陡峭地形）的作用。对水汽平流方程采用简单而有效的保形正定平流差分方案，并解决了在E网格中的应用问题，避免了大多数模式中常出现的负水汽现象或平滑耗散过强过程现象保证了模式对降雨范围、降水强度、暴雨中心位置以及雨带的移动有较好的预报能力。变量在网格上的分布形式采用了跳点网格方式，跳点网格可以提高水平分辨率，减少计算量，是一种较经济的变量分布格式。垂直方向分35层，水平分辨率为37 km。模式在资料前处理上运用三维变分方法进行资料同化。边界条件每6 h替换一次，在一定程度上能解决固定边界条件带来的弊端。

AREMS综合考虑了国内外数值模式中复杂地形的处理方法，从而较适合于我国的地形特点，针对水汽过程的重要性和复杂性，建立了特有的水汽传输和显式云雨方案；为了保证模式的运行效率、精度和稳定度，设计了独特的E网格“半格距差分”方案。

今年江淮流域汛情异常严峻，而中尺度暴雨数值预报模式系统AREMS对该流域多次暴雨过程做了较为准确的预报，为流域的防洪抗灾决策与服务提供了重要的依据。汛期业务试验证明，AREMS模式对江淮流域暴雨过程的预报情况较好，对雨带的位置、走向和移动趋势做出了较好的预报，对暴雨中心的位置、强度预报也与实况较为一致，特别是12～36小时时效的大暴雨预报，TS评分明显高于其它模式。

2.高性能计算机解决方案

2.1.中尺度气象预报模式的特点和对环境的要求

一、计算量巨大

中尺度气象预报模式（MM5、WRF、GRAPES和AREMS）有着惊人的计算量，同时由于气象预报的特点决定了其极高的实时性，要求模式必须在指定的时间内完成运算（一般不超过2小时）。另一方面，人们对气象预报的精度提出了越来越高的要求，目前预报精度从几百公里、几十公里提高到几公里，而这大幅度提高了模式的计算量。预报精度提高一倍，其所需计算量将提高16倍。数值气象预报对计算的这一需求，靠单个CPU或普通的计算机根本不可能完成，必须利用并行计算。一方面，将模式预报软件通过消息传递或者共享存储的方式并行化，另一方面需要高性能并行计算机。目前绝大部分中尺度气象预报模式都已经完成了并行化，如MM5、WRF既支持MPI消息传递并行，又支持OpenMP共享存储并行，也支持MPI+OpenMP的混合运行模式。
GRAPES只支持MPI并行模式，AREMS也完成了MPI并行化工作。

二、通讯极为密集

由于模式都是并行软件，同时一般都采用有限差分格点模式并行计算，所以运行中尺度气象预报模式时，各个CPU之间的通讯量很大，模式对通讯的性能要求非常高。如MM5、WRF的通讯既包括母域和嵌套域之间的域间通讯，又有各个域内部不同数据划分之间的通讯。所以这就要求高性能计算机有高性能的通讯网络。

三、实时性强、定时运行

气象预报本身的特点决定了其要求很强的实时性。同时，预报系统要求定时定点自动运行，无需人工干预。一般每天在固定的2-4个时段运行，每个时段2小时内运行完。这些作业每天在相同时刻运行，必须保证这些模式可以按时计算完毕。

四、主模式是计算量之所在

从软件的处理流程上看，一般分为前处理、主模式和后处理。前处理包括资料的下载、数据同化等等，后处理主要是指图形化处理生成产品等，前/后处理一般对计算机要求不是太高。主模式是整个系统的主要部分，也是主要计算量所在，这个部分是对计算机性能要求非常高。

由于预报模式上述特点，它对计算环境有如下要求：

1．机群系统（Cluster）或者SMP系统或者NUMA系统，其具有较高的处理性能。
2．一定容量的存储空间，能存储一定时间的预报数据（如一个月）
3．Linux或者Unix操作系统
4．C和Fortran 77/90编译环境
5．MPI和OpenMP并行环境
6．NCARG图形库和图形显示系统，如MICAPS或GrADS或VIS5D或RIP4等
7．保证系统能获取数据资料，如T213资料等

对于特点的一些模式，它还有一些特点的要求。如WRF模式还要求Perl和NETCDF环境。

对于构建一个中尺度气象预报系统，在选择基础硬件环境时，以下三点是非常重要的。

1．高性能，特别是浮点处理性能
2．高性能网络环境
3．系统的高稳定性

下面是曙光公司提供的针对不同的气象部门提供的整体解决方案。

2.2.小规模刀片解决方案

小规模解决方案主要应用于地市级气象预报部门，解决一个地市48小时以内的短期天气预报，格局一般在12－18公里左右。这个解决方案也可用于小型环保部门或气象科研部分。

小规模系统结构图：

小规模刀片配置单：

2.自动下载数值预报资料
3.兼作存储节点，存储用户数据和应用数据
4.兼作登入节点，是外界访问整个机群系统的入口
5.兼作编译节点，在其上完成模式开发、调试、编译等工作

方案优势：

1．系统配置1－10个CPU Blade节点，最大浮点理论峰值可达608GFlops（约6千亿次），用户可以在少了投资的情况下很好的满足地市级气象部门的预报需求。
2．整个系统虽然不大，但是包含了气象模式处理的绝大部分系统，在其上能运行几乎所有气象模式，特别适合气象研究和开发部门。同时，配有机群作业调度系统，能轻松的保证多个用户同时使用和运行模式。
3．采用刀片机群的方式构建整个系统，相比于传统的RISC小型机具有极高的性价比。
4．采用刀片机群的另一好处在于系统便于管理和维护。刀片系统管理复杂度的降低可以极大地加快大规模系统部署和性能调优的速度，非常有助于简化系统管理，最大限度地气象人员的工作效率。
5．采用X64体系结构和Linux操作系统，系统具有良好的兼容性和可移植性，运行于PC机上的软件能不用移植而直接在其上运行。

2.3.中规模解决方案

中规模解决方案主要应用于省级气象预报部门，解决一个省48－72小时以内的短期天气预报，格局一般在3－9公里。

这个解决方案同时也适用于大中型环保部门或气象科研部分。

系统结构图：

方案优势：

1．系统配置30个计算节点，最大浮点理论峰值可达1.824TFlops（约1.8万亿次），用户可以在中等投资的情况下获得非常高的计算浮点性能。

2．2个I/O节点做成双机高可用，可防止单一节点的故障，关键节点（管理节点、登录节点、I/O节点都做了冗余设计）。同时利用HA的Slave节点基本上一直处于空闲状态的节点，让其兼做管理节点，充分利用了资源。

3．在拥有超高性能外，气象刀片集群拥有刀片系统的一切优点，非常适合于管理和维护。

2.4.大型规模刀片解决方案

大规模刀片气象解决方案类似于中规模方案的配置，只需要增加相应刀片数目，并更换更高端的Infiniband交换机即可。同时注意应根据实际情况增加登录节点数目和SAN存储容量大小。其它关于大规模的气象解决方案请参见曹振南的精品方案《曙光大规模数值气象预报系统解决方案》。

3.曙光的优势

3.1.技术优势

技术与品牌：

曙光公司是国内最早从事研发、生产服务器和服务器集群的专业厂家。曙光公司依托中国科学院计算所、国家高性能计算机工程中心、国家智能计算机研究开发中心作为技术后盾。提出了“SUMA”服务器标准，开发出独具特色的集群管理技术在用户中得到一致欢迎，并在实际生产中得到充分应用，是国内集群系统市场占有率最高的厂商。

专业的高性能计算机生产厂家：

曙光公司一家专业的高性能计算机生产厂家，继2004年曙光4000A名列全球第十以后，在2005年中国高性能计算机性能TOP100排行名中，曙光以25套系统入选，占据25％。其中在这25套集群系统中，有24套应用于科学计算领域，这个在所有国内外厂商中名列第一。在2006年的最新一期年中国高性能计算机性能TOP100排行名中，曙光以25套系统入选，在所有国际国内品牌中名列第二，国内品牌中以绝对优势名列第一。

5年原厂商免费服务：

针对高性能计算使用困难、维护费用高等特点，曙光公司在06年推出了5年原厂商免费服务。目前的IT产品通常服务承诺为3年，而曙光提出的5年原厂商免费服务，这也意味着是终身免费服务，是服务质量的可靠保证，同时用户的TCO更透明更可控。

另外，曙光的服务不仅局限于高性能计算机本身，同时也包括系统级和应用级的服务。包括并行系统环境、编译环境以及MM5、Grapes、WRF和AREMS等应用软件级的服务。我们的目的是不仅能让用户能使用高性能计算机，同时要用好高性能计算机。
      
气象行业应用：

曙光公司以应用为导向、以满足用户实际需求为目标，一直致力于气象领域和其它重点应用领域高性能计算机及其解决方案的研究与开发。它不仅着眼于集群的生产和研究，同时还密切和应用相结合。

曙光公司于2002年推出了基于MM5模式的曙光气象专用机，并获得了多个奖项。在2004年初，曙光公司与中科院计算所合作，在全球首次完成了MM5在X86-64（Opteron）平台上从32位至64位的移植工作，并在国内外得到的广泛的应用。

2004年开始研究WRF在X86_64平台上的移植和优化，并计划于2007年10月前推出基于WRF，MM5和Grapes三种模式一体的气象专用机。

2007年初与中国国家气象局气科院合作，用曙光服务器和Grapes共同打造中国气象预报的国产化。
2007年9月与宁波市气象局合作，共同促进WRF业务化模式在中国的应用和普及，包括AWR，NMM和污染物扩散的WRF-Chem模式的研究和开发。

4.小结

数值天气预报（NWP）在国内的发展越来越快，使用也越来越普遍。同时数值气象预报对高性能计算的依赖程度也在不断的加强，对高性能计算机的要求也越来越高。但另一方面，相比于其它的HPC应用，数值预报有着其显著的特点，在设计高性能计算机系统也与其它系统有着一定的区别。

在最近几期的精品方案中，曙光解决方案中心已陆续了推出基于MM5、WRF以及Grapes的解决方案，此次在以上方案的基础上，推出中尺度数值气象预报模式系统的曙光刀片解决方案，使得用户有了更多的选择。

曙光总是为用户提供最具价值的产品和方案。对气象用户应用和业务的广泛支持也是曙光提供给用户的特色服务之一。相信由于曙光在气象高性能计算领域的专著和投入，其必对中国NWP的发展做出巨大的贡献。