协同创新 英特尔生态构建实现HPC新突破

作者:李祥敬   【原创】   2020-11-13 20:09:24

关键字: HPC 英特尔

高性能计算不仅仅是计算能力,其使用场景更加多元化。英特尔的IA架构以及IA架构在相关高性能计算的使用已经不局限于CPU,英特尔和国内客户开展了丰富的合作,对中国超算做出了自己的贡献。

如今计算科学(高性能计算)已与理论研究、实验科学相并列,成为现代科学的三大支柱之一。随着越来越多的学科、专业,如通信工程、医药学、生物工程学等采用计算仿真与模拟来进行研发和实验,处于学科前沿的高校对HPC的需求近年来出现井喷。

高性能计算不仅仅是计算能力,其使用场景更加多元化。英特尔的IA架构以及IA架构在相关高性能计算的使用已经不局限于CPU,英特尔和国内客户开展了丰富的合作,对中国超算做出了自己的贡献。

南京大学e-Science中心的建设之路

为了服务中心和全校的教学科研,南京大学人工微结构科学与协作创新中心建设了e-Science中心,中心提供高性能计算、其他信息化服务,比如云盘、开源镜像等。

自e-Science中心的高性能计算中心建立以来,坚持自主设计、自主开发、自主实施、自主管理、自主运维,开放共享公开运营,为中心节约了大量经费,为用户提供了良好的服务。

南京大学人工微结构科学与协作创新中心姚舸告诉记者,在HPC方面,中心大量使用了英特尔CPU、SSD以及网络产品(OPA)。

现在高性能计算的应用越来越多,越来越广。特别是AI的发展非常迅速,学校HPC的需求越来越大。姚舸说,英特尔及其合作伙伴为中心提供了非常有力的支持,包括技术和商务层面,帮助中心提升基础设施的能力,包括高性能计算的能力。”我们的HPC集群把计算分为两大类,一类是传统的数据计算,另外一类是AI机器学习工作负载。“

在e-Science中心之前,南京大学的HPC建设管理是统一机房课题组自行采购管理,这样导致采购竞争不充分,硬件与机房环境可能不匹配;学生管理为主,精力不足、更替传承问题;资源使用不均衡,运行效率低。

为此,学校建设了e-Science中心,实现各个课题组集群融合统一管理:全生命周期管理,协助选型参与购置;自主设计、安装、部署、运维;统一管理、单一集群资源共享。

在基于OpenZFS搭建的存储系统搭建方面,中心引入了英特尔傲腾内存,很好地支撑了云盘、开源镜像站等应用。

北京东方超算科技有限公司(简称“东方超算”)CEO白洋介绍说,东方超算与与英特尔的相关同事和技术支持团队,一起帮助e-Science中心进行了产品验证和产品导入。”姚舸老师这里很愿意尝试一些新技术,我们和英特尔一起帮助姚老师导入英特尔新的产品,为学校科研带来强有力的支撑。“

英特尔傲腾内存提供了Memory Mode和APP Direct Mode两种模式,e-Science中心使用了混合模式:一方面内存模式为ZFS提供了大内存的缓存,而且成本比DRAM低。另一方面使用AD模式实现高速性能。

姚舸表示,英特尔傲腾内存写入的寿命比较长,适合中心负载比较重的存储需求。而且两种模式实现了性价比和性能双重兼顾。

在白洋看来,英特尔傲腾内存的使用场景非常丰富,比如内存数据库Redis、生物信息领域的冷冻电镜数据处理、人脸识别高速响应等。“好的产品必须要厂商和解决方案的生态合作伙伴一起推广,这样才可以让更多用户、更多场景享受到好的产品和技术带来的额外的性能福利。”

目前在超算领域,除了校级超算,还有行业超算以及国家超算、地方超算平台。近几年也有一些新兴的商业超算平台,比如说东方超算运营的“超级大脑”,也有并行科技运行的“超算云平台”。

白洋表示,东方超算不光进行超算系统的研发制造,销售超级计算机,也是超算的运营商,关注用户的应用特征,提供通用和行业的超算应用服务。比如说计算材料学领域除了对CPU的计算规模、数量以及数据存储的容量都有特殊要求,现在计算材料学也充分融合了大数据、高性能计算和AI的研究方法。通过把历史的作业数据进行大数据分析,结合高性能计算的计算能力,就可以对这些计算过程数据进行深度学习的训练。提炼出模型,方便后面的材料研究。

浪潮与英特尔的超算协同创新

超算中心需要强有力的IT基础设施支持,浪潮这两年在数据中心产品当中,占有率越来越高;服务器占有率突破了43%;在AI方面,已经连续三年在国内市场上占有50%以上的占有率。

浪潮集团AI&HPC副总经理赵帅表示,浪潮在国内的教育、科研等各个领域的合作也比较多,帮助很多学校和研究所建设了超算系统,促进整个科学研究的发现。”在这一过程中,我们和英特尔的合作也越来越深入,共同促进在整个国内数据中心高性能计算各个领域当中的高速发展。“

通过浪潮与英特尔在HPC领域的深度合作,由浪潮参与建设的上海交通大学π 2.0超级计算机实现天文学N体模拟粒子数新突破,打破世界纪录。

π 2.0部署了656台双路计算节点,采用英特尔第二代至强可扩展处理器,2.6万余个计算核心,峰值性能超过了2PFLOPS,同时也用了英特尔Omni-Path的最大端口1152端口的核心交换机,可以保证每个节点之间都是点对点带宽是100GB的无阻塞互连。

"我们平衡了计算、网络、存储,构建了全闪的存储系统,可以在五台存储节点实现70GB的聚合带宽。整个π 2.0可以说是一个没有瓶颈、完整的HPC系统。"赵帅说。

除了平台层面,浪潮还在π 2.0运行过程中协助用户做了非常多的系统优化和调优工作,整个系统的LINPACK达到了近65%的效率。

其实了除了π 2.0,浪潮还基于最新的第三代英特尔至强可扩展处理器帮助中南大学构建了目前高校中最强计算能力的超算系统。

除此以外,浪潮基于英特尔Arria 10芯片,研发了F10A FPGA加速卡,它是目前业界支持OpenCL的最高密度、最高性能的FPGA加速设备,据此,浪潮为位于吉林大学的中国首座“考古DNA实验室”提供了FPGA解决方案。

赵帅说,目前浪潮正在和英特尔共同推进基于Agilex FPGA的AI计算解决方案,比如今年即将面市的F10S加速卡,其基于英特尔Stratix 10芯片,是目前业界浮点计算性能最高的FPGA AI加速计算解决方案。

为了帮助AI用户和开发者缩短FPGA开发周期,浪潮研发了TF2,它是一款全栈式FPGA深度学习推理引擎。TF2可快速实现基于主流AI训练软件和深度神经网络模型DNN的FPGA线上推理,帮助用户最大限度的发挥FPGA计算能力,实现FPGA的高性能、低延迟部署。

在赵帅看来,以应用为中心建设超算是未来主流的方向,将超算系统的利用效率提升起来,创造更大的价值。”我们要根据用户需求和应用量身定制超算系统,建设更好用的、门槛更低的超算系统。“

基于此,浪潮不仅注重HPC系统架构师团队的建设,更注重HPC应用工程师团队的建设,包括面向物理、化学、材料、生命科学、气象气候等各领域专家队伍。这些懂应用又懂计算机的跨学科人才以从用户应用的角度考虑问题,帮助用户不仅是建好系统,更多是用好系统。

我们看到浪潮与英特尔在各个产品层面都进行了广泛的合作,对此,赵帅表示,英特尔在各种算力架构下都在拓展自己的业务,比如英特尔至强可扩展处理器集成了AI加速、专属的AI协同加速芯片等。

浪潮也与英特尔的AI团队进行了诸多紧密合作,第一时间协同英特尔进行相应产品的测试和应用,例如浪潮最早适用英特尔oneAPI架构,摸清产品在行业的适用场景,帮助客户进行测试验证,取得更好的应用效果。

    扫一扫

    分享文章到微信


    北京第二十六维信息技术有限公司(至顶网)版权所有. 京ICP备15039648号-7 京ICP证161336号京公网安备 11010802021500号
    举报电话:13070156560 举报邮箱:jubao@zhiding.cn 安全联盟认证