曙光基于刀片服务器的CAE高性能计算平台解决方案

曙光CAE：成功突破系统IO瓶颈

    曙光针对分布式机群环境和SMP计算环境设计了一整套SAN存储网络和IP SAN存储网络解决方案。

    IO节点采用2台A620r-F，配置2颗2000系列双核AMD处理器和16GB DDR2 内存，通过配置4Gb/s的光纤HBA卡连接到SAN存储网络提高IO性能。对于TC2600刀片机群系统，每个计算节点通过NFS over SDP方式挂载（mount）两个IO节点的存储空间；对于两个管理登陆节点，同样通过NFS over SDP方式挂载（mount）两个IO节点的磁盘分区，并将用户分成两类后把主目录放在共享分区中以减轻文件系统压力，同样的，应用软件也分成两类安装到两个共享分区中。

    对于SMP计算节点，由于对存储性能要求较高，最好不要采用NFS文件系统，而是采用直接接入SAN网络的方式。Nastran等结构类计算程序安装在两台SMP节点上，计算中间数据和结果数据存放在本地挂载的SAN空间，实际作业调度时应避免跨节点执行应用程序。此外，SMP节点还需要挂载IO节点NFS数据继承用户主目录信息。

优化的网络系统设计，高速计算的有力保障

    根据上面的分析，我们建议高性能计算平台采用20Gb/s的Infiniband网络来构建，并将管理IO节点连入高速网络，通过采用NFS over Infiniband实现全部计算节点的数据共享。

    曙光公司与中科院某研究所对最新版Fluent的性能进行了测试，算例网格单元为90万左右，采用湍流双方程模型和PDF燃烧模型，测试硬件为8个双路AMD双核的节点，网络为千兆网和Infiniband网络。测试结果表明千兆网环境下16CPU核心内可以保持较好的性能加速，而32CPU核心时由于传递的消息量剧增至上万个每秒，千兆网络已经无法继续提升性能，而此时Infiniband网络则可以继续保持线性加速。

    曙光公司和Qlogic公司进行了相关性能测试，测试结果表明基于Infiniband的NFS可以大幅提高IO能力，尤其是并发的IO能力，进而可以提高计算效率。

DCAS——界面友好，功能强大的管理系统

    DCAS是曙光专为百万亿次高性能计算机系统开发集群管理套件，用于对集群系统进行统一管理，包含了新一代的作业调度系统——DCJM。它采用基于IE浏览器的图形化方式来实现对集群的统一管理，包括系统安装部署、网络配置、作业管理、安全配置、用户管理、进程以及服务管理和交互式并行命令执行系统等，配置简单、使用方便。除了同样具有较高的可用性和可管理性，可以满足绝大部分应用场合的需要外，DCJM还具有中英文两种语言可选，更符合国人的使用习惯，以及高性价比的特点。

曙光DCAS操作界面

    以上为曙光CAE高性能计算平台的一个参考解决方案。针对每一个用户，曙光公司将具体分析用户的实际需求，包括计算规模、用户数量、算例大小、模型特点以及上文提到的两类程序所占的比例等等信息，在该方案的基础上进行合理修改，并进行相关细节的设计，制定出最适合用户的优化方案。