南方科大尖端超算助多学科应用性能创新高

近日，浪潮为南方科技大学（以下简称南科大）量身打造的超300万亿次超级计算机投入试运营，为如何实现高校的多学科、多应用的复杂超算系统构建给出了一种有效的解决方案。

南科大是一所创新型大学，目标是迅速建成国际化高水平研究型大学，建成中国重大科学技术研究与拔尖创新人才培养的重要基地。而为了确保更快的实现建校目标，南科大需要一套高性能的超级计算机来满足各大院系的科学计算需求，促进校内科研工作开展和成果涌现。

多类型HPC应用需要“八面玲珑”

南科大的科学计算需求集中在物理、化学、生物、金融数学等院系，这导致了超算系统需要能够承担不同类型的HPC应用，主要包括理论物理、理论化学计算类应用、环境监测模拟类应用、生命科学类应用以及数学、经济涉及的金融统计和大数据应用四大类。

物理、化学和材料类应用主要使用Gaussian 09、ADF、VASP、Materials Studio、QE、Lammps、Gromacs、NWChem等软件以及部分自主开发的代码，典型应用包括复杂结构分子及反应机理的基础理论研究、材料及化工过程等多尺度模拟计算；利用分子动力学相关理论及算法实现对生物大分子等体系的模拟；自主研发的太阳能发电应用模拟软件，可扩展千核大规模应用的算例等。

环境监测模拟类应用集中在气象、环境、海洋学科，多使用WRF、WRF-Chem、Smoke、Gis等软件以及自主研发算法代码，需要三维可视化呈现，典型应用包括为环境模拟提供开发和大规模应用平台，预测环境、气候、水文等变化情况；

生命科学类应用集中在生物系、化学系（质谱分析），主要应用软件包括BWA、Velvet、Gromacs等开源软件和部分自主研发算法代码，涉及到基因组学、序列对比分析、拼接，蛋白质模拟，质谱分析等多项应用。

数学、经济类应用对计算规模的需求相对较小，主要集中于算法的实现，金融统计分析、大数据等应用可能会需要搭建MapReduce运行环境。

浪潮超算系统兼顾计算需求与调度管理

为满足南科大复杂的超算系统建设需求，浪潮首先组织HPC应用专家团队对各院系的应用需求特点进行了详细分析，以便为后续超算系统设计提供科学的依据。如物理、化学和材料类应用，除高斯适用于大内存胖节点并行计算外，其它软件需要较好的多节点并行扩展性，部分可利用GPU、MIC等实现加速，对编译调优有较高要求；而环境监测模拟类应用要满足特大项目的仿真与模拟，需要配置大内存多处理器（每节点4TB以上）计算节点，同时除商业软件外，自主代码需要提高并行性，包括利用GPU、MIC等加速设备，对存储性能也有较高要求；生命科学类应用对计算能力、存储带宽与空间要求高，大部分软件开源，适用于GPU、MIC等应用加速。

经过应用诊断之后，浪潮为南科大设计了刀片+胖节点+GPU的异构超算系统，总计算峰值为326.64Tflops。而在深圳这个富有创新精神的城市，浪潮也在超算系统设计与管理上实现了多项创新：

GPU应用创新：以Vasp应用为代表，由于其强大的功能，在基础物理研究、计算化学、材料科学等各领域都能看到它的身影，在全球发布Vasp GPU版本之前，浪潮就已经将它运用于GPU平台，并通过浪潮-天眼应用特征分析软件做了测试验证，帮助南方科技大学更好地实现Vasp-GPU的加速，得到的测试效果如下：  

可以看到，在一定规模下，8台安装有一块K40m卡的计算节点相当于24台使用E5-2690v3处理器的计算节点，2台安装有2块K80卡的节点相当于12~14个E5-2690v3节点，可见Vasp非常适合用于GPU计算，比单纯用CPU计算的性价比高出许多。浪潮还通过天眼测试了GPU利用率，GPU内存带宽，还有GPU的功耗，进一步为南科大的Vasp-GPU计算提供助力。

高性能+大数据的统一管理和联动：在高性能和大数据结合得越来越紧密的今天，南科大的超算系统需要既能做高性能计算，又能同时实现大数据的深度挖掘，而其中最核心的部分就是统一的管理调度凭条以及存储系统。

浪潮自主研发的Cluster Engine4.0系统不仅能调度高性能CPU/GPU/MIC节点，还能够同时调度大数据节点，并同时监控各个节点的运行状态，如下图所示：

同时，浪潮和Intel共同开发的TStor2000存储系统采用的核心软件是Intel Enterprise Edition for Lustre商业版并行文件系统，它能够取代大数据常用的HDFS文件系统，实现Map reduce应用的性能提升，如下图所示：

EDR 100Gb高速Infiniband网络：南科大很多应用的MPI通信非常频繁，例如气象环境海洋WRF、WRF-Chem等，需要更高速的网络、更低的延迟。

浪潮超算系统使用了Mellanox最新发布的EDR 100Gb Infiniband网络，其采用324口核心IB交换机，为集群提供全线速、无阻塞的通讯服务。同时，浪潮对EDR 100Gb做了详尽的应用测试，以WRF应用为例，2690v3平台的CPU主频高于2680v3的平台，有9.5%的提升，综合考虑计算过程中，更高主频及更快网络的2690v3平台更容易达到好的计算通信比，取得更好地运行性能，如下表所示：

浪潮曾为我国多个高校设计构建超级计算机，浪潮在南科大超算系统中展现的种种创新系统设计能力，也将有助于推动浪潮设计的超级计算机获得更多高校的青睐。