刀片集群系统在高性能计算中的应用

1.2. 高性能计算在国内的发展

我国在高性能计算机的研发和应用方面，从无到有，从引进到自主研制，取得了令世人瞩目的成就，突破了在高性能计算领域对国外技术的依赖，出现了系列的国产高性能计算机。

曙光公司（中国科学院计算所）2004年7月研制的曙光4000A，峰值性能达到10 Tera-flops，代表中国自己研制生产的高性能计算机第一次进入TOP500 的前十名，使我国成为继美国、日本之后第三个具备研制数十万亿次规模高性能计算机系统的国家，表明我国在高性能计算方面发展到了新的高度。

在轰动世界的人类基因组测序项目实施中，华大基因中心使用中科院计算所开发的超级计算机曙光2000和曙光3000系统，提前完成了人类基因组项目1％的任务，使中国科学家有幸成为这一伟大科学成就和历史进程的重要参与力量。

“十一五”规划中，国家计划研发“百万亿次”的高性能计算机，由曙光公司承担的曙光5000即将在2008年研发成功并投入使用。

我国高性能计算的应用也取得了长足的发展，呈现出“全面普及”的发展趋势。

高性能计算是一种高端的科学研究和工业生产手段，它的成熟发展和广泛应用，对经济发展影响及贡献度的提高，表明科技和经济发展水平摆脱了低端的粗放式增长模式，进入比较高的发展层次。科学计算（高性能计算）已经成为高端科技发展的决定性力量，也必将成为未来科技的中心，成为第一生产力。在提倡“可持续发展”的二十一世纪，科技是一个国家或地区长期持续发展的不竭动力。对于传统工业而言，必须把信息化和工业化结合起来，利用信息化来改造和提高工业化水平，才能带来持续的发展。而信息化的一个重要方面就是把计算的生产力作用融入到科学研究和工业化生产之中。

在一些高性能计算的传统领域，我国高性能计算的应用已经比较成熟，包括核武器模拟，基因测序，石油探测，天气预报等应用领域，取得了一些很大的成就，比如：在轰动世界的人类基因组测序项目实施中，华大基因中心使用中科院计算所开发的超级计算机曙光2000和曙光3000系统，提前完成了人类基因组项目1％的任务，使中国科学家有幸成为这一伟大科学成就和历史进程的重要参与力量；2007年，中石油物探局利用高性能计算机进行地质探测，成功发现了南堡油田。这些都属于高性能计算的传统典型应用范围。

随着各行业信息化建设的推进，高性能计算正在快速向更多的领域拓展，包括传统的工业产业和新兴产业，高性能计算正更多地直接服务于国民经济建设。比如，上海超级计算中心提供的公共计算平台曙光4000A已成功运行证券指数计算、电力安全评估、建筑工程抗震性评估、汽车碰撞、电磁辐射、计算流体力学、基因匹配与拼接、蛋白质结构分析和材料科学等领域的20多项工业应用。主要运行了6个重要的商用应用软件，获得了很好的应用性能，大大提高了上海地区的汽车、飞机、船舶等制造行业的设计能力。

总结来说，在高性能计算的传统应用领域，我国的高性能计算已经有了成熟的应用。随着各行业对计算模拟的需求，高性能计算正更多地服务于国民经济建设，并取得了一些成绩，正在处于全面普及的初级阶段。尽管如此，与国外先进国家相比，国内无论是高性能计算应用的投入，还是重视程度方面都存在巨大的差距。

1.3. 高性能计算的加速发展和普及

在高性能计算的传统应用领域，高性能计算的地位得到了进一步的巩固，成熟度不断提高，是受益于以下几个方面的原因：

 开放性的、高性能价格比的集群系统成为高性能计算机的主体架构；
 众多开源的集群软件使得并行计算机的使用难度降低；
 高性能计算已经变得成熟，有大量的成熟的应用经验可以借鉴和汲取；
 高性能计算相关的人员队伍在快速扩大；

在相当长的时期，高性能计算的应用集中在相对有限的应用领域内，对于这个圈子以外的领域来说，高性能计算机和高性能计算是陌生的，甚至有点神秘的色彩。

而随着计算机芯片技术的发展，高性能并行计算的重要性将得到进一步的重视和体现。并行处理思想和方法将进入更多的领域，甚至是以前很少考虑高性能并行计算的应用领域，高性能计算将更加普及。

目前单核CPU的发展已经遇到了技术屏障，主要问题：

提高主频受到物理限制。芯片最小单元可以达到1个原子，但不可能小于1个原子；单纯提高处理器主频对性能提升的作用越来越小。原因是提高主频后流水线效率可能会降低，另外，系统其它部件（如内存）的发展滞后造成的“木桶效应”；主频提高会带来芯片功耗和散热量的急剧增加；因此转向多核是目前技术发展的主流。几乎所有的主流中高端处理器都转向多核技术。

多核技术将使HPC更加普及，刺激整个HPC领域研究的高速发展。多核是在一个芯片中放置了多个内核，相当于并行计算机，因此之前在大型机上HPC开发的经验和技术将可以有选择地移植到更多的平台上。这将促进HPC在更多领域的普及。

多核处理器在结构上提供了获得性能优势的条件，但也影响到已有的软件部署和开发人员技能。如果想在多核处理器上提升性能的话，很多应用程序必须并行化。有专家指出，当前，多内核开发的关键与多处理器系统是一样的：细致地开发多线程应用程序（使不同部分可以同时运行的程序），使线程不相互干扰。

多核处理器的发展将迫使各级IT专业人员提高自己的技能，要将并行处理概念更深入地植入到他们的计算意识中。许多企业通过培育在任何多核处理器环境中茁壮成长的各种技能，特别是编写多线程应用程序的能力，来确保自己处于有利地位。

Carnegie Mellon大学教授Babak Falsafi指出：“我们将看到一种变化，即我们从一开始就教授并行技术。这将是一种渐进式的变化，可能需要十多年时间，但是最终多内核处理技术将推动多线程和并行技术成为基本技能的变化”。

基于这种技术发展的要求，工业界，尤其是IT界需要逐渐学习掌握并应用并行处理模式，为即将到来的技术变革做好准备。

2. 高性能计算基础设施

2.1. 并行计算机

高性能并行计算机是高性能计算基础设施的核心。作为高性能计算的底层支撑平台，高性能计算机决定了上层的并行编程模型和并行应用。

在几十年的发展过程中，高性能计算机的发展是持续创新的过程，相继有多种架构的高性能计算机问世并投入应用，并不断优胜劣汰。

主要的高性能计算机包括：

并行向量机
SMP对称多处理机
DSM（NUMA）分布式共享计算机
MPP系统
Constellation系统
集群系统（Cluster）
混合架构计算机

其中，向量计算机由于应用领域狭窄、性价比较差已经基本被淘汰，少量的向量系统还在发展和应用。
SMP系统瓶颈在访存带宽，限制了可扩展性（性能会严重下降），通过增大Cache来缓解，又有数据一致性的问题，不可能用来构造性能更高的系统。

NUMA架构的系统具有较好的可扩展性，且具有与SMP相同的编程模式。共享存储的机器可以运行各种编程模式的程序，包括串行程序、共享存储并行程序和消息传递并行程序。虽然共享存储可编程性较好，但是对于高性能计算的应用来说，保证高效率非常困难。

分布式存储高性能计算机的典型代表是MPP和Cluster，具有最好的可扩展性，其中Cluster系统优势更为明显。

高性能计算机设备的选型的一般原则：

 标准化、通用化。在充分考虑各种系统架构基础上，寻求性价比良好、运营费用低、易于管理使用、运行效率高的计算设备和方案；国产品牌的原则。高性能计算是对国家竞争力和军事安全至关重要的应用，美国等国家对其他国家（尤其是中国这些发展中国家）采取了不同程度上的技术和产品封锁，中国的用户购买国外品牌的高性能计算机将受到很多限制，在投入使用后基本上不可能得到国外厂商的技术支持，并且有安全隐患；更多地考虑不同种类、不同规模、不用情况应用对性能的需求，而不仅仅是用整机测试一个基准的测试程序或某个应用的性能作为评价标准；充分考虑厂家提供服务的能力，尤其是提供高级技术支持的能力，即帮助用户把高性能计算机用好的能力；应用软件重要性等同于硬件。应用软件的建设是一个长期、渐进积累的过程。