刀片集群系统在高性能计算中的应用

高性能计算已经取得了巨大的成就，在众多关键领域有着重要的应用。而随着处理器多核技术的发展趋势，高性能并行处理技术将应用于更多的领域，变得更加普及。

作为高性能计算基础设施的核心，现代高性能计算机的发展从20世纪70年代的向量计算机开始，也已经有了30年的发展历程。先后出现了向量机、多处理器并行向量机、MPP大规模并行处理机、SMP对称多处理机、DSM分布式共享存储计算机、Constellation星群系统、Cluster集群系统、混和系统等多种主体的架构，并分别在不同的时期占据着应用的主流。

开放的Cluster集群系统具有较多的优势，已经占据了目前高性能计算机的主流位置，在TOP500中占据了80%以上的份额，在中小规模的高性能计算系统中更是占据绝对优势地位。

现代高性能计算机对计算密度、系统功耗、管理维护提出了更高的要求，这给刀片服务器的发展和应用带来了很好的机会。

曙光公司根据多年在高性能计算机领域的积累，结合市场用户的实际需要，积极倡导高性能计算机的产品和技术规范，推出了第三代刀片曙光TC2600。

基于刀片的曙光高性能集群系统，不仅具有Cluster架构的普适性优点，而且更加符合现代高性能计算机对计算密度、能耗、可靠性、易用性等方面的要求，是高性能计算的最佳平台。

曙光公司在高性能计算领域有着深厚的技术积累，不仅蕴涵在刀片的设计里，还体现在刀片集群的应用上。曙光公司各应用领域首席工程师已经完成了主要并行应用软件向刀片集群的移植和优化，取得了很好的效果，这将在应用层面上打消用户顾虑，保障用户应用的顺畅和高效。

先进的产品配合全面的应用支持，曙光高性能刀片集群系统将为用户提供最佳的应用解决方案。

1. 高性能计算的应用

1.1. 高性能计算的重要作用

20世纪后半期，全世界范围掀起第三次产业革命的浪潮，人类开始迈入后工业社会——信息社会。在信息经济时代，其先进生产力及科技发展的标志就是计算技术。在这种先进生产力中高性能计算机（超级计算机）更是具有代表性。

时至今日，计算科学（尤其是高性能计算）已经与理论研究、实验科学相并列，成为现代科学的三大支柱之一。

三种科研手段中，理论研究为人类认识自然界、发展科技提供指导，但科学理论一般并不直接转化为实用的技术；实验科学一方面是验证理论、发展理论的重要工具，另一方面，它是在理论的指导下发展实用技术，直接为经济发展服务；计算科学的发展也有相当悠久的历史，只是在计算机这一强大的计算工具问世之前，计算只能利用人类的大脑和简单的工具，计算应用于科学研究有天然的局限性，限制了它作用的发挥；随着计算机技术的发展，使用科学计算这一先进的技术手段不断普及，逐渐走向成熟。科学计算可以在很大程度上代替实验科学，并能在很多情况下，完成实验科学所无法完成的研究工作。科学计算也直接服务于实用科技，并为理论的发展提供依据和机会。

在许多情况下，或者理论模型过于复杂甚至尚未建立，或者实验费用过于昂贵甚至不允许进行，此时计算模拟就成为求解问题的唯一或主要手段了。例如，全面核禁试条约签订后，为了仍需保持核威慑力量，核武器的研究转到了以实验室研究和数值模拟为主。核武器是一个精细结构的装置，核禁试后数值模拟成了唯一可能进行的全系统(虚拟)试验，通过数值模拟可以评估核武器的性能、安全性、可靠性等等。为此要求数值模拟达到高分辨、高逼真、三维、全物理和全系统的规模和能力，这样对计算机的性能要求非常高，其峰值速度就要求达到Tflops(每秒万亿次浮点运算)的规模。显然这样的高性能计算机必须是大规模的并行计算机，例如美国三大核武器研制实验室就分别向美国的各个高性能计算机厂商预定和购买峰值速度超过100Tflops的高性能并行计算机。

目前，高性能计算已广泛应用于国民经济各领域，发挥着不可替代的重要作用：

a) 基础学科中深入的知识发现，问题规模的扩大和求解精度的增加需要更高性能的计算资源。例如，计算立体力学、计算材料学、计算电磁学。

b) 多学科综合设计领域中大量多部门协同计算需要构建高性能的综合平台。例如，汽车设计、船舶设计。

c) 基于仿真的工程科学结合传统工程领域的知识技术与高性能计算，提供经济高效地设计与实践方法。例如，基于仿真的医学实践、数字城市模拟、核电、油田仿真工具、新材料开发、碰撞仿真技术、数字风洞。

d) 高性能计算提升众多行业服务、决策的时效性，提高经济效益。例如，实时天气预报、城市交通控制、视频点播服务、动漫设计、网络游戏、基于RFID的货物跟踪、智能电子商务。

e) 数据密集型应用需要高性能数据处理，以应对数据爆炸式增长带来的难题。例如，高能物理实验数据处理、遥感数据处理、商业智能、生物信息学、RFID数据挖掘、金融业分析抵押借贷、移动电话流量分析。
高性能计算发展及应用水平正日益成为一个城市乃至一个国家科研实力的重要标志之一。在高性能计算领域处于领先地位就等于占领了未来发展的制高点。世界经济强国对高性能计算无不十分重视，尤其是美国、日本和欧洲各国，为了增强其在国际上的综合竞争力，纷纷制定长期发展计划，政府投资建设与民间外包运营并举，竞相投入巨大人力、物力和财力争夺这一战略高地。

美国政府有关部门长期以来非常注重对高性能计算项目的资助，并且相继在1991年提出“高性能计算与通信（HPCC）计划”，在1995年实施 “加速战略计算创新（ASCI）计划”，在1998倡议实施“科学模拟(SSP)计划”，这些举措都是为了抢占在高性能计算领域的世界领先地位。美国政府和IBM公司合作推动了蓝色基因（Blue Gene）方案，研制出了百万亿次的超级计算机。SGI，CRAY，IBM等公司都有千万亿次超级计算机的研发计划。

日本科学技术厅基于防震减灾的需要，早在1997年就制订了一项庞大的研究计划，即利用基础科学研究、人工辅助观测和高性计算模拟来预测地球环境变迁。为此，NEC公司耗资3.5亿美元，用了五年多时间，才于2002年3月成功研制出峰值性能达到40TFlops（通称40万亿次/秒）的超高速并行计算机系统——“地球模拟器”（曾列世界第一，详见世界超级计算机500强排行榜），满足了日本政府对大气海洋科学和固体地球领域的应用需求。

欧洲在高性能计算机的应用方面也不甘示弱，如英国国家气象局，已用性能更高的由30个NEC SX-6节点组成的超级计算机，取代原有的专用Cray  T3Es超级计算机。此外，欧洲国家在材料科学、核能研究和DNA分析等计算领域，一直处于先进行列。

据统计，欧、美、日发达国家已垄断了全球高性能计算的研发和应用，分布在其它国家的高性能计算应用加起来不足4％。

1.2. 高性能计算在国内的发展

我国在高性能计算机的研发和应用方面，从无到有，从引进到自主研制，取得了令世人瞩目的成就，突破了在高性能计算领域对国外技术的依赖，出现了系列的国产高性能计算机。

曙光公司（中国科学院计算所）2004年7月研制的曙光4000A，峰值性能达到10 Tera-flops，代表中国自己研制生产的高性能计算机第一次进入TOP500 的前十名，使我国成为继美国、日本之后第三个具备研制数十万亿次规模高性能计算机系统的国家，表明我国在高性能计算方面发展到了新的高度。

在轰动世界的人类基因组测序项目实施中，华大基因中心使用中科院计算所开发的超级计算机曙光2000和曙光3000系统，提前完成了人类基因组项目1％的任务，使中国科学家有幸成为这一伟大科学成就和历史进程的重要参与力量。

“十一五”规划中，国家计划研发“百万亿次”的高性能计算机，由曙光公司承担的曙光5000即将在2008年研发成功并投入使用。

我国高性能计算的应用也取得了长足的发展，呈现出“全面普及”的发展趋势。

高性能计算是一种高端的科学研究和工业生产手段，它的成熟发展和广泛应用，对经济发展影响及贡献度的提高，表明科技和经济发展水平摆脱了低端的粗放式增长模式，进入比较高的发展层次。科学计算（高性能计算）已经成为高端科技发展的决定性力量，也必将成为未来科技的中心，成为第一生产力。在提倡“可持续发展”的二十一世纪，科技是一个国家或地区长期持续发展的不竭动力。对于传统工业而言，必须把信息化和工业化结合起来，利用信息化来改造和提高工业化水平，才能带来持续的发展。而信息化的一个重要方面就是把计算的生产力作用融入到科学研究和工业化生产之中。

在一些高性能计算的传统领域，我国高性能计算的应用已经比较成熟，包括核武器模拟，基因测序，石油探测，天气预报等应用领域，取得了一些很大的成就，比如：在轰动世界的人类基因组测序项目实施中，华大基因中心使用中科院计算所开发的超级计算机曙光2000和曙光3000系统，提前完成了人类基因组项目1％的任务，使中国科学家有幸成为这一伟大科学成就和历史进程的重要参与力量；2007年，中石油物探局利用高性能计算机进行地质探测，成功发现了南堡油田。这些都属于高性能计算的传统典型应用范围。

随着各行业信息化建设的推进，高性能计算正在快速向更多的领域拓展，包括传统的工业产业和新兴产业，高性能计算正更多地直接服务于国民经济建设。比如，上海超级计算中心提供的公共计算平台曙光4000A已成功运行证券指数计算、电力安全评估、建筑工程抗震性评估、汽车碰撞、电磁辐射、计算流体力学、基因匹配与拼接、蛋白质结构分析和材料科学等领域的20多项工业应用。主要运行了6个重要的商用应用软件，获得了很好的应用性能，大大提高了上海地区的汽车、飞机、船舶等制造行业的设计能力。

总结来说，在高性能计算的传统应用领域，我国的高性能计算已经有了成熟的应用。随着各行业对计算模拟的需求，高性能计算正更多地服务于国民经济建设，并取得了一些成绩，正在处于全面普及的初级阶段。尽管如此，与国外先进国家相比，国内无论是高性能计算应用的投入，还是重视程度方面都存在巨大的差距。

1.3. 高性能计算的加速发展和普及

在高性能计算的传统应用领域，高性能计算的地位得到了进一步的巩固，成熟度不断提高，是受益于以下几个方面的原因：

 开放性的、高性能价格比的集群系统成为高性能计算机的主体架构；
 众多开源的集群软件使得并行计算机的使用难度降低；
 高性能计算已经变得成熟，有大量的成熟的应用经验可以借鉴和汲取；
 高性能计算相关的人员队伍在快速扩大；

在相当长的时期，高性能计算的应用集中在相对有限的应用领域内，对于这个圈子以外的领域来说，高性能计算机和高性能计算是陌生的，甚至有点神秘的色彩。

而随着计算机芯片技术的发展，高性能并行计算的重要性将得到进一步的重视和体现。并行处理思想和方法将进入更多的领域，甚至是以前很少考虑高性能并行计算的应用领域，高性能计算将更加普及。

目前单核CPU的发展已经遇到了技术屏障，主要问题：

提高主频受到物理限制。芯片最小单元可以达到1个原子，但不可能小于1个原子；单纯提高处理器主频对性能提升的作用越来越小。原因是提高主频后流水线效率可能会降低，另外，系统其它部件（如内存）的发展滞后造成的“木桶效应”；主频提高会带来芯片功耗和散热量的急剧增加；因此转向多核是目前技术发展的主流。几乎所有的主流中高端处理器都转向多核技术。

多核技术将使HPC更加普及，刺激整个HPC领域研究的高速发展。多核是在一个芯片中放置了多个内核，相当于并行计算机，因此之前在大型机上HPC开发的经验和技术将可以有选择地移植到更多的平台上。这将促进HPC在更多领域的普及。

多核处理器在结构上提供了获得性能优势的条件，但也影响到已有的软件部署和开发人员技能。如果想在多核处理器上提升性能的话，很多应用程序必须并行化。有专家指出，当前，多内核开发的关键与多处理器系统是一样的：细致地开发多线程应用程序（使不同部分可以同时运行的程序），使线程不相互干扰。

多核处理器的发展将迫使各级IT专业人员提高自己的技能，要将并行处理概念更深入地植入到他们的计算意识中。许多企业通过培育在任何多核处理器环境中茁壮成长的各种技能，特别是编写多线程应用程序的能力，来确保自己处于有利地位。

Carnegie Mellon大学教授Babak Falsafi指出：“我们将看到一种变化，即我们从一开始就教授并行技术。这将是一种渐进式的变化，可能需要十多年时间，但是最终多内核处理技术将推动多线程和并行技术成为基本技能的变化”。

基于这种技术发展的要求，工业界，尤其是IT界需要逐渐学习掌握并应用并行处理模式，为即将到来的技术变革做好准备。

2. 高性能计算基础设施

2.1. 并行计算机

高性能并行计算机是高性能计算基础设施的核心。作为高性能计算的底层支撑平台，高性能计算机决定了上层的并行编程模型和并行应用。

在几十年的发展过程中，高性能计算机的发展是持续创新的过程，相继有多种架构的高性能计算机问世并投入应用，并不断优胜劣汰。

主要的高性能计算机包括：

并行向量机
SMP对称多处理机
DSM（NUMA）分布式共享计算机
MPP系统
Constellation系统
集群系统（Cluster）
混合架构计算机

其中，向量计算机由于应用领域狭窄、性价比较差已经基本被淘汰，少量的向量系统还在发展和应用。
SMP系统瓶颈在访存带宽，限制了可扩展性（性能会严重下降），通过增大Cache来缓解，又有数据一致性的问题，不可能用来构造性能更高的系统。

NUMA架构的系统具有较好的可扩展性，且具有与SMP相同的编程模式。共享存储的机器可以运行各种编程模式的程序，包括串行程序、共享存储并行程序和消息传递并行程序。虽然共享存储可编程性较好，但是对于高性能计算的应用来说，保证高效率非常困难。

分布式存储高性能计算机的典型代表是MPP和Cluster，具有最好的可扩展性，其中Cluster系统优势更为明显。

高性能计算机设备的选型的一般原则：

 标准化、通用化。在充分考虑各种系统架构基础上，寻求性价比良好、运营费用低、易于管理使用、运行效率高的计算设备和方案；国产品牌的原则。高性能计算是对国家竞争力和军事安全至关重要的应用，美国等国家对其他国家（尤其是中国这些发展中国家）采取了不同程度上的技术和产品封锁，中国的用户购买国外品牌的高性能计算机将受到很多限制，在投入使用后基本上不可能得到国外厂商的技术支持，并且有安全隐患；更多地考虑不同种类、不同规模、不用情况应用对性能的需求，而不仅仅是用整机测试一个基准的测试程序或某个应用的性能作为评价标准；充分考虑厂家提供服务的能力，尤其是提供高级技术支持的能力，即帮助用户把高性能计算机用好的能力；应用软件重要性等同于硬件。应用软件的建设是一个长期、渐进积累的过程。

2.2. 软件

高性能计算基础设施中的软件包括两大类：

1，高性能计算机操作系统（高性能计算中间件）

高性能计算机操作系统不仅包括节点机上运行的操作系统，还包括使得并行计算机众多部件协同工作，对外提供单一系统映像的各种软件，如：MPI并行环境、用户管理工具、作业调度系统、系统管理工具等。

2，应用软件

高性能计算中的应用软件可以分为3个种类：

科学计算类

主要是大量的开源/免费软件，另外包括一些公司开发经营的收费软件。应用行业包括气象、物理、化学、生物、医学等领域。

工程计算

基本上是收费软件，用户通过购买license的形式获得使用授权，价格较高，以力学、热学、声学、电磁学等分析为主，应用行业包括航空、航天、汽车、船舶、建筑、机械、能源等领域；

非数值计算类

高性能并行计算的应用范围不断拓展，其更大的应用市场在非数值计算领域。如并行数据库，并行数据挖掘等。

2.3. 人才

高性能计算技术人员团队也属于高性能计算基础设施建设的范围。

高性能计算机系统需要系统管理员对系统进行运营管理维护，值得庆幸的是：标准化的高性能集群系统大大降低了系统使用管理的难度，高性能计算机操作系统中的管理工具也在很大程度上简化了系统管理人员的操作，并提高了系统可靠性。

对于拥有较大规模高性能计算机的计算中心来说，其业务不仅包括计算及存储服务，还包括对高性能计算用户的应用支持，技术培训，项目合作等。保持一支稳定的、一定规模的、具有技术支持、技术开发和高级技术咨询能力的、以客户应用为核心的专职人才队伍非常重要。

计算中心的主要业务可能包括：

（一）、提供随需而变的高性能计算资源，包括硬件和软件

（二）、技术支持服务
 并行软件设计和实现
 并行程序移植
 高性能计算机系统技术
 高性能计算相关软件的应用
 高性能计算系统环境的使用（作业管理系统、开发环境）
 网格计算
 网络系统（远程、安全）

（三）、高级技术咨询服务
 并行软件、专用软件、共享或商业软件的用户定制开发；
 提供程序并行化、移植、优化、定制等各种开发服务；
 提供高级数学建模、算法设计服务；
 提供虚拟产品设计中以CAE应用（结构分析，流体分析，热分析，电磁场分析，或多场耦合分析）为核心的工程咨询服务；
 培训服务：系统技术，并行编程，计算方法，软件使用，基于高性能计算的创业，网格计算等；
 为高性能计算机硬件厂商、应用软件厂商提供并行编程、系统技术、演示体验中心、用户测试等服务；
        为各类打算购置高性能计算平台的用户提供技术咨询；
 软件传播、交流和共享服务。

（四）、网格计算技术研发和应用
 网格平台的搭建；
 应用网格的开发；
 基于网格技术的资源共享
而掌握高性能计算应用的人需要精通自己的应用学科、计算机系统架构、并行编程、并行算法、高级语言和系统技术，并且高性能计算机系统需要系统管理、网络技术、系统维护和运行等专业人员。

3.高性能计算基础设施建设中要考虑的主要问题

3.1.对计算能力的需求

从总体上来说，应用对高性能计算能力的要求是无止境的。但是，在系统建设时，需要根据各种客观条件系统建设的规模，使得系统建设更合理，重点要考虑的因素包括：

1，项目预算

包括目前可用的预算和以后可以追加的预算。

2，应用阶段的不同需求

使用高性能计算机系统的用户是有区别的，表现在对高性能计算的应用成熟程度上。对于刚进入高性能计算的用户，其对高性能计算的需求更多地处于潜在状态，需要时间来挖掘。

3，并行应用软件的可扩展性

各种并行应用软件的可扩展性不同。使用高性能并行计算，理想的加速比是线性以至超线性的，但能达到理想加速比的情况不是很多，尤其是在大规模并行处理时。对于相当多的并行软件，单个作业调用的处理器达到一定数目之后，使用更多的处理器并不能带来相应的性能提升。

当然，这也并不是说更多的处理器不能发挥作用。可以同时运行多个并行应用程序，对于同一个程序也可以同时运行多个作业，从而使用更多的处理器资源。

4，系统的用户数目

为实现较大的系统建设规模，提高系统使用效率，高性能计算机系统一般是一个单位（院系，学校，部门，城市）共同投资，资源共享。在这种情况下，使用高性能系统的用户比较多，对计算能力的需求也相对较大。各个用户使用资源的时间段可能有交叉，对计算资源的需求也不会是各个用户需求的累加。

3.2.需要更多的考虑软件和应用

高性能计算机系统建设中，一个最常见的误区就是：用户过多关注硬件，而忽视了软件和系统的应用，这个问题在设备采购时尤其明显。

“重硬轻软”是国内高性能计算机项目采购中的普遍问题。选择性价比高、性能稳定的硬件自然是合适的，但很多用户在设备采购时还没有系统应用的经验，造成对系统的软件和应用重视不够，这样就会使得用户在采购时可能过于看中低价格或迷信国外知名品牌。在项目采购完成后，进入应用阶段，才感觉到软件匮乏，厂家缺少对应用的支持，系统运行不起来。

高性能计算系统是一个相对复杂的系统，而高性能计算的应用软件更是浩如烟海、不胜枚举。这些软件中，大量的是公开源代码的free软件，需要在目标平台上编译优化，需要更多的来自高性能计算机厂商的技术支持和服务。

3.3.能耗和散热

高性能计算机在提高卓越计算性能的同时，也在大量地消耗电能，并散发出相应的热量。高性能计算机系统需要精确计算系统的能耗，不断提高能耗比（每瓦性能），并应对大规模并行系统的散热问题。
面向高性能系统设计中，已经尽可能考虑了系统功耗和散热问题，并不断提高能耗比。

上海超级计算中心使用的曙光4000A超级计算机为例，峰值性能达到10万亿次，2004年投入使用。处理器为Opteron 850处理器，主频2.4GHz，功耗为95瓦；如果使用AMD Barcelona核心的4核处理器，主频仍然选择2.4GHz，则每个处理器的性能为原来的8倍（4个核心，每个核心性能提高2倍），而处理器的功耗仍然为95瓦；也就是说，现在建设峰值性能达到10万亿次的高性能计算机，功耗仅是3年前的八分之一，或者说，系统能耗比为3年前的8倍。

当然，不仅仅是处理器，系统的架构也在趋向于节能设计。使用刀片式集群，可以使得高性能计算机系统的能耗比进一步提高。

3.4.计算密度

在传统的概念中，高性能计算机是“庞然大物”。在系统规模达到一定程度后，高性能计算机系统的占地面积也是一个大问题。如日本的地球模拟器高性能计算机，占地面积达到3500平米，相当于4个网球场的占地面积。

高性能计算机一直在追求高的计算密度，即在相对小的体积内提供更强的计算能力。提高计算密度，将有效减小高性能计算机的占地面积，降低对机房的要求，减少系统建设成本，同时，还可以减少空调设备、整体能耗，从而降低系统的运营成本。

提高计算密度需要提高计算单元的密度，并解决由此带来的更为苛刻的系统散热问题。

使用刀片服务器作为计算单位的曙光5000百万亿次超级计算机，其规划占地面积仅为200平米，实现了很高的计算密度。

3.5.高性能计算机系统的管理维护

高性能计算机系统由众多的计算单位、交换设备、存储设备等构成，复杂的系统需要对用户提供单一系统映像，并提供相应的管理工具，以降低系统管理员的工作难度，减少操作失误，提高系统可靠性。

3.6.系统的可扩展性

高性能计算机系统需要充分考虑系统的可扩展性。在系统成功运行一定时间后，对计算资源的需求会大大增加，为了有效保护原来的投资，最理想的是对原来采购的系统进行扩容，而不是重新建设一个新系统，除非有其他方面的原因或有特殊的考虑。

3.7.整体拥有成本

整体拥有成本（TCO）是高性能计算系统建设的一大要素。高性能计算系统在设备的一次性采购完成后，必须（或可能）的费用还包括：

1，软件升级费用
2，厂家技术服务费用，尤其是应用层面的高级技术支持服务
3，质保期后的服务费用
4，高级技术培训的费用

在高性能计算机系统的建设中，不应该仅仅看重设备一次性采购的费用，还要考虑不同厂家的质保期，技术服务的费用，软件升级的时限及其费用，从而作出整体拥有成本最低的选择。

3.8.高性能计算机的使用效益

高性能计算基础设施的建设是相对较大的投资，需要充分发挥其作用，把系统用好。

高性能计算是一种先进的科研和生产手段，使用好并行计算机系统有一定的门槛。很多用户购置了高性能计算机后，系统不能发挥很好的使用效益，甚至应用不起来，造成了资源的浪费，并影响了科研或生产工作的进行。

提高系统的使用效益，包含了两层含义：

1，提高计算资源的利用率。高性能计算系统上需要部署经过优化的并行应用，搭配合理高效的作业调度策   略，使得系统的使用效率达到较高的水平；
2，提高应用水平，就是使高性能计算机算出来的结果更有用。

4.曙光刀片集群系统

4.1.刀片的发展和趋势

刀片服务器经过持续的发展和改进，在技术和应用上已经成熟，刀片服务器获得不断高升的认可度，受到市场的欢迎。根据IDC的预测，到2009年刀片服务器在整个服务器市场份 额将会超过25%，出货量达到280万台，销售收入超过90亿美金。

第二代刀片服务器仅注重了计算密度，由于散热的问题，I/O问题没有很好的解决，尤其是不能支持各种标准规格的IO部件，限制了其应用。

刀片的发展需要一种标准的统一，对于用户而言，没有了统一的标准，将会造成使用上的迷惑与资源的浪费。基于此，曙光改变理念，提出了综合性能强大的刀片服务器，曙光TC2600作为代表来解决一直未决的疑虑。对于刀片的密度、散热、管理、I/O问题等都针对性的有了大的完善。

4.2.具备集群系统的所有优点

应用于高性能计算的刀片集群系统，具备通用的Cluster架构的所有优点，主要体现在：

  高性价比；
开放性，兼容性
  易扩展，扩展成本低
易管理使用
整体拥有成本低
使用灵活，尤其适合用户计算中心

4.3.刀片集群相对于机架式服务器集群的优点

4.3.1. 计算密度更高

提高计算密度是刀片服务器发展的主要动力之一。对于超级计算中心的大规模并行计算机来说，提高计算密度尤其重要。

峰值性能为10万亿次的曙光4000A，基于2U 4路机架式服务器，系统共包含45个计算机柜。而提供同样的计算能力，使用曙光刀片式集群，只需要3个机柜；计算系统提高10倍，构造100万亿次的超级计算机，也只需要25个机柜，占用200平米的机房空间。

4.3.2. 机房要求降低

大规模高性能计算机将对机房空间提出较高的要求，并且要为系统的扩容升级留下空间。刀片式集群系统实现了较高的计算密度，并且有效降低了系统功耗，对系统空调等散热系统的要求也相对降低。

4.3.3. 功耗散热降低

刀片服务器的功耗部件较少。刀片柜中的电源将由多个刀片共享，所以会使用高效率电源，减小了系统功耗，同时产生的热量减少，减少了冷却系统的耗电量。

节能的设计体现在曙光刀片服务器的各个层面：

1）根据实时功耗确定工作电源个数，使电源工作在最佳效率曲线上。
2）修改计算刀片操作系统内核，实现节能
3）多计算刀片任务调整调度

4.3.4. 布线简单

在机架式服务器构成的集群系统中，系统布线是一个很大的问题。系统的线缆可能包括高性能计算网络（Infiniband，Myrinet，以太网等）、数据网络、管理网络、监控网络、电源网络、KVM网络等，这些线缆需要连接到每一个计算单元。尤其是在高密度、计算单元数目又比较多的情况下，系统布线是令设计人员头疼的问题。

刀片式集群系统可以大大减少系统布线的数量。多个刀片服务器可以共用冗余电源，内置的交换机将高速网络（Infiniband等）、数据网络、管理网络、KVM网络集成在一起，只需要对刀片柜进行布线，刀片柜内部的计算刀片通过背板连接，无需布线。

根据计算，使用刀片式集群，可以节省85%以上的系统布线。

4.3.5. 可靠性提高

曙光刀片服务器采用无源背板进行系统互连，与传统的线缆连接方式相比，把可靠性提高到了一个数量级以上。刀片系统采取模块化、冗余、热插拔设计，进一步提高了系统的可靠性。

可靠性的提高对高性能计算应用有着重要的价值。目前，采取进程动态迁移和Checkpoint来保证并行作业的可靠性还不成熟，所以对高性能计算机系统的整体可靠性要求比较高。在并行作业运行的一个周期内，要求所有参与运算的部件都不能出现故障，曙光刀片集群系统的高可靠性是其用户高性能计算的一大保证。

4.3.6. 管理方便

曙光刀片服务器管理监控高度集成：通过统一的监控界面，监控所有刀片资源，包括机箱电源、风扇、计算刀片、背板、交换机。管理系统整合目前两大监控技术，即IPMI以及KVM (Over IP)，真正实现监视控制一体化。同时，为实现方便快捷的刀片服务器管理，通过优化的管理软硬件设计，改善可管理性，增强部署和可服务性，这些将降低总的所有权成本。

5.曙光刀片集群系统上的并行应用

5.1. 测试或移植的并行应用

5.1.1. 测试的软件列表（部分）

                      CAE领域中常用软件

5.1.2. 移植和优化的软件列表（部分）

                       气象领域中常用软件

          计算化学领域常用软件

Linpack效率测试

一个刀片柜内的10个刀片在未经任何优化的情况下测试出了高达5000亿次/秒的实测值，充分体现了曙光TC2600刀片服务器能发挥强大的浮点运算性能。

石油行业软件测试

采用石油行业使用量最大的Paradigm软件，配合BGP的大型数据测试，一个刀片两颗CPU计算2800道地震数据情况，仅耗时700余秒。

有限元分析软件测试

采用业界最知名的Ansys测试软件，配合软件自带的BMD-2/3/4/5算例，4刀片8颗CPU仅消耗100多秒就出了结果，充分体现了刀片服务器同样非常适合于有限元分析领域。

气象行业软件测试

采用全球最新的WRF模式，配合宁波气象局算例，10刀片20颗CPU仅耗时10多分钟就准确预报出了该地区24到48小时的气象情况。

物理行业软件测试

采用物理领域具有代表意义的VASP软件，仅花了1200多秒就计算出了算例结果。

分子动力学软件测试

在分子动力学领域，选用了LAMMPS软件，该软件具有非常良好的应用加速比，该特性在TC2600上刀片服务器上再次得到验证，随着CPU个数的增加，计算性能也成倍的提高，非常好的验证了刀片服务器整个设计构架设计完善，不留性能瓶颈的设计思路。

WCCS系统测试

为了满足Windows平台下众多的并行计算用户，在TC2600刀片服务器上进行了微软公司推出的WCCS（Windows Computer Cluster Server）兼容性测试，进行了Windows平台下的Linpack可行性测试，整个测试过程顺利流畅，完全可以满足用户需求，也再一次验证了曙光TC2600刀片服务器具有非常好的兼容性和易用性。

5.2.高级技术支持和服务

曙光公司凭借其在高性能计算领域的深厚积累，有条件为用户提供全方面、立体化的技术支持和服务。并采取几大举措：

实施服务超越战略
成立曙光高性能计算机用户体验中心体验中心
成立行业首席工程师负责制的应用研究团队

对于曙光的高性能计算用户，曙光的技术工程师提供无限期的应用支持，包括：

并行软件的编译，测试
性能优化
并行编程培训
协助进行软件移植
帮助用户解决使用中的难题
帮助用户分析系统瓶颈，寻找解决方法

6.附件：曙光公司与中国的高性能计算

中国高性能计算的发展和应用一直与“曙光”紧密地联系在一起。

“曙光”是中国自主研发的系列高性能计算机。“曙光”高性能计算机的成功，使得我国了在高性能计算领域突破了对国外技术的依赖，取得了一系列标志性的成就：

 曙光一号并行计算机写入李鹏总理政府工作报告
 曙光一号获国家技术进步二等奖
 曙光1000获中科院科技进步特等奖
 曙光1000获国家科技进步一等奖
 曙光2000超级服务器系统获国家科技进步二等奖
 曙光3000入选“2001年中国十大科技进展”
 曙光3000获得国家科技进步二等奖
 曙光4000L再次入选2003年“中国十大科技进展”
 曙光4000A入选世界超级计算机TOP500前十位
 曙光4000A入选“中国十大科技进展”

胡锦涛总书记在2006年1月全国科技大会上，“点”出了新中国成立以来特别是改革开放以来，我国广大科技人员所取得的７大“标志性”重大科技成就，在７大标志性科技成就中，高性能计算机位列第五。曙光高性能计算机不仅代表着中国计算机最高水平，也为“‘两弹一星’、载人航天、基因组研究”等其他标志性科技成就做出了重要贡献。

“曙光”高性能计算机为中国高性能计算的应用作出了卓越的贡献。

在轰动世界的人类基因组测序项目实施中，华大基因中心使用中科院计算所开发的超级计算机曙光2000和曙光3000系统，提前完成了人类基因组项目1％的任务，使中国科学家有幸成为这一伟大科学成就和历史进程的重要参与力量。

2004年投入使用的曙光4000A，峰值性能达到10 Tera-flops，代表中国自己研制生产的高性能计算机第一次进入TOP500 的前十名，使我国成为继美国、日本之后第三个具备研制数十万亿次规模高性能计算机系统的国家，表明我国在高性能计算方面发展到了新的高度。

2007年。中石油涿州物探局，利用曙光高性能计算进行模拟计算，成功发现了南堡油田。曙光公司专注于高性能计算领域，促进“曙光”系列高性能计算机的产业化应用。连续11年稳居国产高性能计算机市场第一，拥有国产高性能计算机70%以上的份额，实现了国产机对进口产品的超越。

2006年，曙光发布了百万亿高性能计算机的研发计划，继续引领中国的高性能计算机向前发展。

曙光公司以推动高性能计算在中国的发展和应用为己任，为国内的高性能计算用户提供全面的服务，扶植用户的应用，为用户提供全面、定制化的培训，帮助用户把高性能计算机用好，发挥出真正的作用和效益。