解析地球上最快的计算机——JAGUAR

2009年11月17日，最新一期全球高性能计算系统TOP500榜单在美国波特兰市发布，Cray代号为“Jaguar”（美洲虎）XT5超级计算机击败IBM代号为“Roadrunner”（走鹃）超级计算机，成功摘得TOP500第一名桂冠。

Jaguar的Petascale级计算

安装在Oak Ridge Leadership Computing Facility (OLCF)代号为“Jaguar”的Cray XT5超级计算机是全球用于不分类研究的最快超级计算机，速度峰值可以达到2.33 petaflops。Jaguar可以仿真具有超高速度和精确度的物理系统——从天体爆炸到事物结构块，它将OLCF推向了petascale甚至更高的时代。

在2009年上半年，OLCF开始了向petascale级科研超级计算未知领域的探索，邀请全球28家领先研究团队参与了一项历时6个月、使用Jaguar的早期petascale科研项目。这些研究团体使用超过3.55亿个处理器小时，在气候科学、化学、材料科学、核能、物理、生物能源、天体物理学、地球科学、核聚变和燃烧等领域有了突破性的科学发现。这些研究包括超高清的气候模型、从古老的地下矿藏流向哥伦比亚河流入的铀量计算、以及关于通过干扰从植物中提取乙醇的深度研究。

2009年即将结束，OLCF将继续在计算密集研究领域占据领先地位。Jaguar升级采用6核处理器之后将XT5的计算内核总数增加到224526个，它采用InfiniBand网络在升级的XT5组件中整合了XT4组件，计算内核总数超过255000个。凭借极高的速度、内存、磁盘和网络带宽，Jaguar将再一次向全球的研究者、工程师和计算科研人员提供并行计算能力。

技术规格之剖析Jaguar

Jaguar系统包括8个Cray XT4系统机柜和200个升级的Cray XT5机柜，均采用6核处理器。XT4每个节点的内存容量为8GB，而XT5每个节点内存容量为16GB，在机柜系统内为用户提供总共362TB的高速内存。两个系统都通过Scalable I/O Network (SION)连接起来并与Spider文件系统相连接。XT5系统有256个服务和I/O节点，向SION提供每秒240GB的带宽，向外部网络提供每秒200GB的带宽。XT4有116个服务和I/O节点，向SION提供每秒44GB的带宽，向外部网络提供每秒100GB带宽。

XT4和XT5都有4个节点。XT4节点采用了一个AMD 4核皓龙1345“Budapest”处理器以及8GB DDR2-800内存。XT5是XT4的双倍密度版本，它的每个节点的处理能力、内存和内存带宽分别是XT4的3.7倍和2倍。XT5节点采用了2个皓龙2435“Istanbul”处理器，与2个HyperTransport相连接，每个皓龙处理器直接连接8GB的DDR2-800内存，最终就形成一个具有16GB共享内存、处理性能最高125 gigaflops的2路12核的节点。

每个节点运行Cray版本的SuSE Linux操作系统。Cray对Linux内核进行了调节，去掉了计算节点中不必要的服务。这样操作系统就将对系统中运行的应用节点的影响降至最低，因此提供了应用程序可预测、可重复的运行时间。节点上的SuSE Linux操作系统将系统服务、网络软件、通信、I/O和资料库，以及编辑器、调试器和性能工具结合起来，形成Cray Linux环境。Jaguar支持MPI、OpenMP、SHMEM和PGAS编程模式。Oak Ridge Leadership Computing Facility (OLCF)在Jaguar上支持来自Cray、PGI、Pathscale以及GNU的编辑器。

Jaguar的功率密度最高可以达到大约每平方英尺1750瓦，所以不能采用某种水冷方法来管理散热要求。XT5占地4400平方英尺，面积比一个NBA篮球场还要大。传统的地下空气散热方法对这么大的数据中心和热量负载来说并不适用。Cray采用家用制冷和汽车空调中常用的R-134高温制冷剂，首先调节入口空气，然后随着空气进入和退出每个机柜的时候去除热量。最终形成一个高可靠的冷却交付系统，而且每年消耗的电力要比传统强制空气冷却系统减少5%，也就是每年2.5M kW-h。另外每个机柜采用了480伏的电压，并且尽可能缩短主交换主板与计算机柜之间的距离，以此来进一步降低成本。

技术规格之Spider文件系统

基于Lustre的文件系统Spider将渠道NCCS网络上的多个文件系统，形成一个统一的可扩展系统。Spider提供了对来自NCCS所有平台的亿亿级数据集的集中访问路径，因此避免了数据孤岛的出现。计算机和其他系统之间的文件传输将不再是必需的。例如，在Jaguar和虚拟化系统之间传输petascale数据集可能需要数小时时间，不仅占用了Jaguar的带宽，而且还使得仿真进程变得十分缓慢。取消文件传输将提高性能、便利性和降低成本。数据分析平台将受益于Spider的高带宽特点，而无需在尖端存储系统上投入大量资金。

为了访问Spider，NCCS平台配置了Lustre路由器。这些路由器允许计算机节点上Lustre客户访问Spider，就好像存储是在本地附加的一样。其他所有Lustre组件将保留在Spider基础架构中，提供易于维护性、计算机平台服务中断情况下的可访问性以及能够扩展文件系统性能和容量的能力。

采用一个中央文件系统需要加强冗余和容错等特性。Spider设计可防止发生单点故障，因此最大限度上提高了可用性。通过利用Lustre文件系统的故障转移对，多个网络路径和弹性特点，Spider提供了一个可靠的中央存储解决方案。

Spider文件系统规格

以前的存储系统只是简单地由高性能RAID组成，直接与计算平台连接。而Spier则是一个大规模存储集群。48 DDN S2A9900提供后端目标存储，每秒带宽超过240GB，13440个1TB硬盘提供了超过10PB的RAID6容量。用户可通过192个戴尔双路四核Lustre OSS服务器访问这个目标存储，该服务器提供了超过14 teraflops的性能和3TB的RAM容量。每个目标存储服务器提供的每秒带宽比文件系统级性能高出1.25GB。元数据被保存在2个LSI Engino 3992上，由3台戴尔四路四核系统提供服务。这些系统通过可扩展的I/O网络进行互连，为Spider提供了一个高性能背板。

技术规格之可扩展I/O网络SION

为了提供一个真正集成的计算设备，LCF部署了一个基于SION的SAN。SION是一种多阶段的InfiniBand网络，连接所有NCCS平台。SION提供了一个集成多个系统的背板，例如Jaguar、Spider、Lens（虚拟化集群）、Ewok（端对端生产力集群）、Smoky（应用就绪集群）、HPSS和GridFTP服务器。通过提供多个系统之间的高性能连接，SION实现了Jaguar两个部分之间的通信。另外还增加了在线虚拟化这样的新功能，使得来自仿真平台的数据能够以极高的数据传输率发送向虚拟化平台。

LCF部署完新平台之后，SION将继续扩展提供一个集成的服务背板。SION将允许访问现有服务器，而不是在每次新部署过程中复制基础架构服务，从而降低了总成本、提高可用性和缩短了从最初采购到生产就绪的时间。

SION规格

SION是一种高性能InfiniBand DDR网络，提供超过每秒889GB的半分带宽。半分网络基础架构是基于3个288端口的思科7024D IB交换机，一个交换机提供了一个聚合连接，另外两个交换机提供了Jaguar两个部分之间与Spider文件系统的连接性。第四个7024D交换机提供了与其他所有LCF平台的连接性，并连接到一个聚合的交换机上。Spider通过48个24端口Flextronics IB交换机连接到核心交换机，允许存储直接从SION上寻址。附加的交换机提供了与其他LCF平台的连接性。

LCF占用大约40000 ft2的升降地板面积，中心内遍布平台。为了解决如此大规模中心带来的远距离需求，SION采用了长达60米的Zarlink IB光学线缆。这种长度的线缆可以实现双层建筑之间的连接，这是铜缆无法做到的。总的来说，SION配置了3000多个InfiniBand端口，超过3英里的光学线缆提供的高性能连接。

技术规格之NCCS网络

OLCF的网络功能与计算能力并行地进行扩展以确保精确且高速的数据传输。系统之间的高吞吐网络以及ESnet与Internet2的升级连接可加速NCCS和其他机构之间的数据传输率。

OLCF有一个向DOE ESnet的直接连接，提供了一个高带宽通道连接主中心与其他40多个DOE站点，并且高速连接到100多个附加网络。

OLCF还连接到Internet2网络和NSF TeraGrid。Internet2为美国研究机构和教育机构提供了一个满足他们带宽密集需求的网络。这个网络是一个动态、稳定、具有成本效益的网络。它采用了高速网络架构，可为200多家教育机构、企业、非营利性组织和政府机构处理全动视频和3D模拟。

OLCF的核心LAN网络由2个思科6500路由器以及1个Force10 E1200路由器组成。这个核心网络提供了用于交换机内连接的100多个10Gb以太网端口，并且可以通过使用10Gb以太网直接连接到主机。NCCS则为那些对数据传输率要求较低的设备提供了1200多个千兆以太网端口。

网络规格

ORNL拥有和管理他们自己单一模式的光纤网络，提供从橡树岭、突尼斯到芝加哥、纳什维尔和亚特兰大的物理连接。ORNL使用Ciena Corporation Wave Division Multiplexing (WDM)设备贯通这一连接，使用思科和Juniper的核心路由器提供了到外部协同合作伙伴的连接。这种暗光纤基础架构让ORNL可以快速且具有成本效益低在与合作伙伴的任何对等点之间实现10Gb甚至更高的速度。除此之外，ORNL还参与了“高级网络计划”（Advanced Networking Initiative），旨在实现多个DOE设施之间的100Gb广域连接。

技术规格之归档存储HPSS

OLCF的归档数据存储系统——高性能存储系统（High Performance Storage System，HPSS）通过重要升级来确保高速可靠的存储和petascale数据集找回。HPSS目前保存了7PB的数据，而且每天还会增加40TB。数据存储量每年翻一番，而增加的两个petascale系统也要不断升级，保持HPSS这个petascale平台每年增长的需求。通过集成可以将HPSS与SION连接，允许与Spider无缝集成等新功能。这种集成将通过使用HPSS传输代理或者本地文件迁移工具等多种传输机制来实现来自Spider的数据输入/输出HPSS的极高数据传输率。

HPSS规格

HPSS基础架构包括28个戴尔生产服务器来作为ACSLS、用户界面网络和迁移工具（磁盘/磁带）。磁带存储由2个STK PowderHorn智能磁带库和3个SUN SL8500磁带库组成。这些磁带库包括14个STK 9840磁带库、16个STK 9940磁带驱动器、24个SUN T10K-A磁带驱动器和32个SUN T10K-B磁带驱动器，总共30000个磁带。HPSS磁盘层由4个DDN 9550组层，总共1500TB存储容量，提供了对中小文件的高性能访问，还可以作为针对更大文件的缓存机制。

科学应用

科学和Petascale计算

从探索新型能源到分析气候动态变化、再到调节蛋白质功能，terascale系统是科学研究和问题解决中一个必不可少的工具。Petascale设备提供在这些高级功能基础上进行扩展、解决人类最紧迫的问题方面的能力是不可估量的。ORNL为科研机构提供了全球最强的工具来解决最具挑战性的难题。

橡树岭超级计算机提供首个对极端气候变化的模拟

在ORNL，全球用于未分类研究的最快超级计算机将模拟极端气候变化和全球变暖进程。这项工作由威斯康辛大学的Zhengyu Liu和美国国家大气研究中心Bette Otto-Bliesner负责，提供了关于全球气候变化根源和影响的珍贵数据。

ORNL超级计算机辅助超新星研究

Type Ia超新星是自然界中最大的热核爆炸，远远超过太阳和很多基本生命元素。关于这些爆炸星体最神秘的地方就在于其爆炸方式。加州大学圣塔克鲁斯分校的Stan Woosley 和他的同事们在Jaguar上运行仿真流程，展示了Type Ia超新星的异步爆炸过程和这一过程对亮度的巨大影响。

生物和半衰期

Carbon-14的衰变速度远远慢于它的同位素，这让研究人员可以根据植物或者生物的一部分追溯到60000年前。ORNL的David Dean带领的科学小组正在利用Jaguar前所未有的超过计算能力来测量碳14核子。仿真过程可以帮助我们了解为什么这个同位素的半衰期如此长，帮助我们更好地了解事物的构成。

从光合作用到燃料：新型燃料

Jeremy Smith和他的同事们使用JJaguar和Draken超级计算机来揭露纤维素的详细工作方式。纤维素是一种让树叶、树干和树枝变硬的复杂碳水化合物。找到如何释放糖亚基结构的方法就可以利用植物来作为一种燃料。

聚变加快

很少有代码要求比现有聚变微粒更快的I/O。例如，GTC和XGC-1是运行在NCCS Jaguar Cray XT5超级计算机12000多个内核上的。由于Scott Klasky和不同团队的合作，最近GTC的速度提高了两倍，不仅可作为理想的基准实例，还可用于生产模拟。

火山爆发模型模拟极端气候

ORNL的Kate Evans所带领的小组和美国国家大气研究中心正在使用Jaguar超级计算来模拟气候系统对火山爆发产生的浮尘的反应。如果这个模型可以预测出该系统对浮尘（可能在大气层存在数年时间）的反应，相信他们就可以预测出该系统对长期人为排放的反应。

Jaguar XT5图片库

最新的1.64-petaflop Cray XT Jaguar超级计算机采用了180000个处理器内核，每个内核本地内存容量为2GB。ORNL的计算资源为科学家们提供高达2.5 petaflops的计算性能。 以下是NCCS petaflop Jaguar系统的图片。关于最新的科学虚拟化图片，请查看NCCS图片库。