超级计算机生存实录

　　夺取HPC的制高点

　　2004年11月超级计算国际会议（SC2004）召开前，美国和日本几家公司你追我赶，相继宣布研制成功速度最快的超级计算机HPC，从一个侧面反映了发达国家对超级计算的重视。最近，美国科学院、工程院等机构组织了十多名权威学者经多次研讨后，提交了一份长达227页的建议报告（Getting Up to Speed The Future of Supercomputing，以下简称《未来超级计算报告》），要求政府增加科研经费，进一步重视以定制技术为主的HPC研制。

　　HPC成为了一个国家夺取技术顶峰的标志。在这种情况下，我国的高端计算机研究又当如何？

　　4月4日第23期李国杰院士撰写的《条条大路通罗马》，分析了我国HPC的三个发展方向。

　　目前，我国计算所就提出HPC有三种类型，或者说有三种发展模式：一种是“核武器”模式，即追求最高计算性能，成本不作为主要考虑因素；第二种是“高科技武器”模式，即有重点的采用新技术，追求较高的性能价格比；第三种是“常规武器”模式，即国际上称为Beowulf的机群模式，采用商品化的部件，主要追求低成本。

　　超级计算机并不是终点，当我们把多台超级计算机集合在一起时，就可以组合更强大的超高扩展计算机。在5月16日第34期的《在飞秒时间步上与肉毒杆菌拼杀》文章中，为大家介绍了超高扩展计算机。

　　根据TOP500的报告，大约300台超级计算机的体系结构是所谓的集群系统。《NRC报告》指出：“对许多应用而言，集群技术帮助用户以PC机的消费去得到超级计算的性能。”对大多数用户来讲，“集群技术为以前使用定制矢量系统的用户实现了物有所值。”集群的成功使用，大大缩小了依靠政府资助来定制超级计算机的需求。而这种集群的超级计算机系统，就组成了超高扩展计算机。

　　尽管我们已经两次介绍了HPC，但由于前两次都涉及国家级的技术，并且主要讲了HPC有多么多么高的性能，这或多或少地给HPC带来了神秘的感觉。HPC的当前应用现况到底如何？它主要应用在那些领域中呢？其未来的发展又将如何？

　　本专题根据2004年11月发布的国际TOP500和中国高性能计算机TOP100排行榜的数据，对国内外高性能计算机的发展现状从性能、地理分布、制造商和行业等几个方面进行了深入分析和对比，并总结了高性能计算机发展的几个热点问题。在此基础上，根据三届排行榜积累的性能数据和能够得到的其他公开历史数据，对未来几年国内民用高性能计算的发展趋势进行了预测。

　　超级计算机生存实录

　　如今，超级计算机的现况如何？它的主要应用领域有哪些？哪些领域增长比较快速？国内高性能计算的普及情况如何？通过对比2002年和2003年两年的排行榜数据，我们能否对这些问题做出很好的回答呢？

　　TOP排行榜显威名

　　2002年之前，我国计算机尚未列入国际TOP500排行榜，之后，联想、曙光等企业则相继入围。

　　在国际上，自1993年起，每年都会按Linpack的测试性能公布在世界范围内已安装的前500台高性能计算机排行，此排行榜已经被国际公认，成为高性能计算机研制生产、市场发展和应用交流的重要参考。由于历史原因，我国的高性能计算机未曾向国际公布Linpack性能测试结果，故而在2002年之前尚未列入国际TOP500排行榜。在中国软件行业协会数学软件分会发布的首次中国高性能计算机排行榜的2002年，在中国TOP50排行榜中名列第一的联想深腾1800万亿次机群名列2002年世界TOP500第43名，结束了在世界TOP500排行榜没有国产高性能机器的历史。2003年，在中国TOP100排行榜中名列第一的联想深腾6800万亿次机群名列2003年世界TOP500第14名。2004年，在中国TOP100排行榜中名列第一的曙光4000A更是取得了6月份排行榜世界第十的历史性突破注。

　　为促进我国高性能计算事业与国际接轨，并了解我国高性能计算机资源的分布与应用情况，以推动国产高性能计算机的应用与产业化进程，中国软件行业协会数学软件分会就高性能计算机性能评测工作，经过与各方认真研讨以及充分的技术准备后，由数学软件分会下设的“高性能计算机评测专业组”具体实施评测业务，并在2002年和2003年连续公布了两届中国高性能计算机性能排行榜(中国TOP50和中国TOP100)。在2002年排行榜公布后，得到了社会各界的欢迎和肯定。

　　从国际上看，2004年正式发布的HPC Challenge Benchmark[12]就是向综合评价方式的探索，但采用这种多Benchmark评价方式的问题在于如何对测试结果进行综合，给出最终的排名。中国软件行业协会数学软件分会早在去年年底就由孙家昶理事长提出了收集和整理行业软件，进行面向特定行业的Benchmark软件包开发和评测的倡议，得到了大家的一致认可。在今年8月召开的南开高性能计算国际研讨会上，孙家昶理事长就这一想法和TOP500的发起人Jack Dongarra教授交换了意见，双方不谋而合，并就多个测试结果的综合评价等问题交换了意见。目前，尽管在真正实施过程中存在很多现实的困难，我们分会正以并行FFT为突破口，稳步推进这一工作。可喜的是，这一工作和中国TOP100排行榜的工作也在今年得到了国家863“高性能计算机及其核心软件”重大专项课题《高性能计算机性能测试技术及方法研究》的支持。

　　HPC行业市场应用分析

　　从中国TOP100具体的行业应用领域来看，2004年高性能计算主要分布在科学计算、电信、能源、金融保险、税务、工业、政府、大气气象、教育、生物信息和数据库等领域。从机器数量上，科学计算(27%，比2003年的28%和2002年的30%略有下降，保持第一名)、电信(20%，比2002年的8%和2003年的15%连续三年上升，从第三上升到第二)、金融保险(10%，比2003年的21%和2002年的22%大幅下降，从第二下降到第三)分列前三名；从机器Linpack性能上看，科学计算(49.93%，与2003年的50.97%持平，保持第一名)、能源(16.93%，比2003年的10.24%上升，从第三上升为第二)、电信(9.47%，闯入前三名)，而金融保险退出前三名。这说明目前的科学计算、金融保险、电信和能源是高性能计算的主要用户，与世界TOP500的分析结果基本一致。

　　TOP100排行榜分析

　　在国内高性能计算市场，处于领先地位的是曙光、联想、IBM等厂商。其中曙光4000A取得了不错的成绩。

　　现在，我们给出对中国软件行业协会数学软件分会2004年11月15日发布的中国高性能计算机TOP100(www.samss.org.cn) 排行榜的分析。2004年TOP500高性能计算的总性能达到了1.127Petaflops，首次超过千万亿次（Petaflops）；而根据2004年中国TOP100排行榜的数据，中国目前高性能计算的总性能是53Tflops（2003年19.68Tflops），是2003年总性能的2.69倍。

　　TOP500中398个系统的Linpack性能超过了1Tflops；共有296个系统是机群，使得机群成为占据主导地位的体系结构；中国TOP100中，有26个系统的峰值达到了1TFlops，而2003年有10台；共有48个（2003年为26个）系统是机群，其中只有1个（2003年4个）系统是自己搭建的，自己搭建的大机群逐年减少。从这一点来看，机群仍然处在快速增长阶段，但尚未占主导地位。

　　突HPC破五大应用

　　→纳米技术

　　→燃烧模拟

　　→核聚变

　　→气候模拟

　　→空间物理

　　聚焦五大应用

　　目前，HPC主要面向纳米技术、燃烧模拟、核聚变、气候模拟和空间物理等五个领域。而为了达到这一目标，美国制定了三条路线……

　　美国DARPA在2002年启动了HPCS(High Productivity Computing Systems)计划，其主要目标是为了“填补当前基于80年代后期技术的HPC和未来的量子计算技术之间的高端计算”，提供一个经济可行的、整体设计的新一代系统，该系统的性能、编程效率、可靠性和便携性要有重大的突破。整个计划分为三个阶段，第一阶段为概念评估阶段，第二阶段到2006年为系统和关键技术评估阶段，第三阶段到2010年为研发和系统实现阶段。到2003年7月该计划第一阶段完成，Cray，IBM和Sun公司正式入选第二阶段。

　　目前，国际上除了在地球模拟器上的应用程序实际性能水平达到系统峰值的30%到50%，即十几万亿次的水平之外，在其它采用商业机器基础上搭建的高性能计算机的实际应用程序水平都在5%到10%徘徊。为此，美国成立了Leadership Computing Consortium(LCC),成员包括LBNL、SDSC、NCSA等国家实验室。其制定的近期目标是在2007年左右达到实际应用程序性能50万亿次的目标，并能在Petaflops平台上发挥出系统峰值的30%到40%，两套系统的名字分别为LCS-1和LCS-2，主要是和IBM公司合作。

　　目前确认的主要面向的应用领域包括纳米技术、燃烧模拟、核聚变、气候模拟和空间物理等五个领域。为了达到这一目标，美国制定了三条路线，分别如下:

　　1) 并行向量机(PVP)路线：最贵的专用机器，在体系结构的所有层次采用已知的对科学应用成功的专用部件。该计划的最初成果就是目前正在进行广泛评测的Cray X1系统；

　　2)虚拟向量机路线(Virtual Vector Architecture)：用第一路线的一半经费的高性价比机器。其处理器采用商用处理器，但却采用能够象向量机一样进行程序设计的新体系结构。IBM将会和Lawrence Berkeley 国家实验室合作实施该体系结构，并在2005年下半年发布160Tflops的Blue Planet机器；

　　3)片上系统路线（System-on-a-chip）：最便宜的机器。目前正在开发的蓝色基因工程是目前来看最有希望达到Petaflops峰值目标的机器。IBM公司将会和Argonne国家实验室合作，希望在2005年开发出180Tflops的系统。

　　分析算法是必经之路

　　当HPC已经明确了主要应用领域之后，接下来的任务就是如何去实现这些应用。

　　我们已经知道，目前HPC确认的主要应用领域包括纳米技术、燃烧模拟、核聚变、气候模拟和空间物理等五个领域。而满足这些应用领域需求的最有效的计算机体系结构设计方法是分析这些应用所采用的算法，然后和厂商一起设计为这些算法定制的系统。地球模拟器就是日本海洋科学技术中心的科学家和NEC公司长期合作的成功典范。通过分析发现，算法的如下方面驱动着对一个合适的大规模科学计算系统的选择：

　　1. 多物理，多尺度的计算；

　　2. 有限的并发性，需要更强大的单处理器性能；

　　3.对关键库子程序如ScaLAPACK和FFT的依赖；

　　4. 基于网格的方法和粒子方法的耦合，导致两种规则但未对齐的数据结构的大规模交互；

　　5. 有限差分的广泛使用，需要在多维规则数据访问上的高性能和高存储访问带宽；

　　6. 非规则稀疏和自适应网格(AMR)的大量使用，产生一些非规则的控制语句，使得在向量机器上性能不好；

　　7. 大量的数据并行为细粒度的并发操作提供了机会；

　　对上述应用，超标量和向量计算机都有各自的优点和缺点。超标量基于高速缓存的系统适合于有空间和时间局部性的问题。同时，这类系统也适合于非规则结构的算法和内循环有大量条件分支的代码。但是，很多基于高速缓存的系统由于其设计的首要目标不是科学计算，主存储带宽一般比较低。因此，非计算密集的代码通常在这类系统上性能不好。

　　高端标量和向量的结合

　　对于具有国家重要意义的HPC应用来说，最适合的体系结构倾向于能够结合高端标量和向量系统最好特点的体系结构。

　　Berkeley国家实验室和IBM的长期合作项目Blue Planet超级计算机的设计已经嵌入IBM的新一代Power处理器，并将作为LCS-1和LCS-2的设计基础部件，其对原来的IBM处理器设计蓝图的改进主要在如下几个关键方面：（1）存储带宽的大幅度改进；（2）存储访问延迟的70%减少；（3）每个处理器互联带宽提高8倍；（4）ViVA虚拟处理器扩展，允许一个节点里的八个处理器可以作为一个虚拟处理器使用。

　　ViVA和ViVA2是为了加速大范围科学应用程序的持续性能而对Power体系结构的特殊增强。ViVA是一种编译器支持的程序设计环境，通过使用在Power5和Power6处理器中已有的快速同步技术把多个强大的处理器整合成一个虚拟处理器。ViVA2是对Power6体系结构的扩展，将通过支持更深的存储访问流水隐藏存储访问延迟，加速科学应用的性能。这些扩展将改进可向量化和不可向量化代码的存储访问效率。与严格的向量设计相比，ViVA2的优点在于它在通过向量化高效处理数据并行代码段的同时，提供了通过利用最先进的超标量技术在非向量化代码上也达到高性能的灵活性。这些解决了由于数据访问模式的不规则所带来的各种标量存储性能下降问题，其中包括低效率的硬件预取、存取指令发送速度限制和部分利用的缓存浪费等。

　　对领袖级系统的关键科学需求可以提炼为三个主要系统特点：处理器性能、互联性能和软件。处理器应当对大范围的应用具有优秀的持续单节点性能；互联网络应该在提供包括延迟和带宽在内的链路高性能的同时，具有很高的对分带宽。高的系统利用效率需要经过验证的系统软件可扩展性和优化的数值数学库。

　　从目前的状况来看，在2007年前，能够满足上述目标的美国机器厂商只有IBM和Cray。而通过分析最新的体系结构和价格信息，最终能够在2007年提供所需的最好解决方案的厂商只能是IBM。目前提出的计划是通过两阶段计划在2007年达到持续应用性能50TFlops的目标：LCS-1和LCS-2。将在2005年6月安装LCS-1，而在2007年11月安装LCS-2。

　　下一代HPC遭遇存储访问带宽挑战

　　从某种程度上说，目前科学计算主要是受限于带宽（而不是算法）。目前国际上各种高速、高带宽的互联技术已经很多，关键是一“走”PCB板就会大打折扣，这已经成为一个很大的瓶颈。为此，科学家们正在考虑另外的办法。

　　在2002年10月和2004年4月，美国Lawrence Berkeley国家实验室和Argonne国家实验室联合发布的给美国国家能源部的两篇建议书里指出，目前高性能计算机理论峰值和实际应用持续性能差距的不断扩大，需要一个更好的能够评价未来系统可能发挥出的性能的评价尺度。两个实验室的研究人员利用一组把存储访问带宽考虑在内的合成评价尺度对新提出的和现存的系统进行了检查。这类评价确认了一个基本事实：系统相对理论峰值达到的实际性能实际上是处理器有多少时间用在运行应用程序上和处理器等待数据从存储器存取时间的度量。因此，数据移动的速率与数据处理速率的比值给出了特定系统生产效率和典型应用能够期待的峰值速度百分比的更加现实的评价。

　　找准瓶颈位置

　　传统的高存储访问带宽只有在向量机器里才有，主要面向科学计算问题；而商用的通用处理器是为Web服务和家庭PC市场设计的，主要是用在Cluster上来降低价格。但科学计算的需求是不同的，需要在数据移动速度（本地存储访问和消息传递速度）和浮点计算速度之间找一个更好平衡。当前对应用性能比较高的机器都是这一比值比较高的机器体系结构设计，参见本页上图。

　　从某种程度上说，目前科学计算主要是受限于带宽（而不是算法），目前国际上各种高速、高带宽的互联技术已经很多，关键是一“走”PCB板就会大打折扣，这已经成为一个很大的瓶颈。为了解决这个问题，光互联技术已经在很多科学家的研究范围之内。另外，从芯片本身来说，很多研究机构正着力于把多数技术在芯片中实现，Memory-in-Processor（处理器集成到内存）、Processor-in-Memory（内存集成到处理器）等芯片技术已经取得很大进展，这将突破以往处理器和内存之间的瓶颈，从而使系统计算能力大大增强。

　　存储访问开销越来越引起机器体系结构设计者、算法和程序开发者的重视。SUN公司最新提出的Hero HPCS系统提出了采用异步计算(Asynchronous Computing)的体系结构和更高的存储与浮点性能比，试图打破处理器各部件的速度同步限制，充分发挥各部件的全部性能。

　　对效能的重视

　　高性能计算领域的一个值得注意的新趋势是开始从关注高性能向高生产率转变。以前大家对于高性能计算机一贯是不计代价，一味追求计算速度。但现在这种趋势在变，很多人不仅开始关注高性能计算机从提出问题到解决问题所用的时间，而且会考虑单位空间的flops、单位功耗的flops，甚至单位资金投入所产生的flops等指标。

　　美国洛斯阿拉莫斯国家实验室的科学家们已经提出一种可以替代现有标准超级计算机和传统机群系统的全新超级计算机设计概念。这些科学家认为，计算的成本应当包括电能、基础设施、空调、占地空间、系统故障修复时间以及系统维护人员工资等，即应该更注重效率和可靠性，而不是超级计算机的原始速度。使用这种设计的第一台超级计算机被命名为“绿色命运（Green Destiny）”系统。IBM正在研发的BlueGene/L超级计算机项目到2005年最后完成时，也会在功耗、体积方面相对于目前的高性能计算机有很大改观。李国杰院士也表示，计算所下一步将会把万亿次计算机做到小塔式大小，以方便大家使用。未来的超级计算机将不仅仅是计算速度的巅峰之作，同样在高效率、小体积、稳定性、节能等方面也会成为其他IT产品的典范。

　　高性能计算领域的一个值得注意的新趋势是开始从关注高性能向高生产率转变。以前大家对于高性能计算机一贯是不计代价，一味追求计算速度。但现在这种趋势在变，很多人不仅开始关注高性能计算机从提出问题到解决问题所用的时间，而且会考虑单位空间的flops、单位功耗的flops，甚至单位资金投入所产生的flops等指标。

　　美国洛斯阿拉莫斯国家实验室的科学家们已经提出一种可以替代现有标准超级计算机和传统机群系统的全新超级计算机设计概念。这些科学家认为，计算的成本应当包括电能、基础设施、空调、占地空间、系统故障修复时间以及系统维护人员工资等，即应该更注重效率和可靠性，而不是超级计算机的原始速度。使用这种设计的第一台超级计算机被命名为“绿色命运（Green Destiny）”系统。IBM正在研发的BlueGene/L超级计算机项目到2005年最后完成时，也会在功耗、体积方面相对于目前的高性能计算机有很大改观。李国杰院士也表示，计算所下一步将会把万亿次计算机做到小塔式大小，以方便大家使用。未来的超级计算机将不仅仅是计算速度的巅峰之作，同样在高效率、小体积、稳定性、节能等方面也会成为其他IT产品的典范。