软硬件协同创新 英特尔与生态伙伴加速融合HPC和AI

作者:李祥敬   【原创】   2020-10-14 09:26:57

关键字: AI HPC 英特尔

英特尔公司数据平台集团副总裁、高性能计算事业部总经理Trish Damkroger告诉记者,高性能计算技术是一个非常基础的工具。不管是疫情的防控也好,还是疫苗的开发也好,都与此息息相关,这些工作会产生大量的计算以及其他的需求,高性能计算会被频繁地使用。

2020年,一场突如其来的新冠疫情让全球进入到一个非常时刻,而数字经技术的应用让人们在面对疫情时有了更多应对举措。特别是科技战疫正加速HPC在医疗领域的广泛应用,原来使用HPC最多的是科研院所,在疫情期间医院、公共卫生防预等机构都开始使用HPC。

同时,随着数字经济的崛起和大数据、人工智能等技术的快速创新和发展,大量的新研究方法和工具应运而生,科学计算呈现出了井喷式的需求。常规的计算能力远远无法应对复杂多样的新需求,各行各业急需计算性能强、效率高、适用广的高性能计算集群,促使HPC技术跨学科跨领域的融合。

英特尔公司数据平台集团副总裁、高性能计算事业部总经理Trish Damkroger告诉记者,高性能计算技术是一个非常基础的工具。不管是疫情的防控也好,还是疫苗的开发也好,都与此息息相关,这些工作会产生大量的计算以及其他的需求,高性能计算会被频繁地使用。

浪潮集团AI&HPC副总经理赵帅也表示,浪潮在国内的教育、科研等各个领域帮助很多学校和研究所建设了他们目前为止最大型的超算系统,来促进他们整个科学研究的发现。这与和英特尔的越来越紧密的合作是密不可分的。二者正在共同促进在整个国内数据中心高性能计算各个领域当中的高速发展。

Trish表示,HPC和AI正处于一个融合临界点,英特尔在高性能计算领域不断创新和尝试,高效融合HPC和AI。比如英特尔至强可扩展处理器内置了人工智能指令集,可以帮助用户加速人工智能工作负载。同时,英特尔也在跟生态系统的合作伙伴一起,通过新一代跨架构统一软件栈oneAPI把人工智能附加的功能整合到真正的应用当中。

软硬件协同创新

在HPC和AI的融合过程中,通用处理和工作负载优化加速的需求对于解决设计、工程和科学中以前不可能解决的问题至关重要。这改变了我们设计、构建和编程下一代超级计算系统的方式。同时,在一个单一的计算环境中,系统架构的创新正在进行,以优化工作流,并支持不同的HPC和AI应用程序需求。此外,可编程性正在被重新定义,以简化跨多种处理器和加速器的开发,以支持广泛的生态系统运用和创新,同时支持目前广泛使用的编程语言。

英特尔一直致力于构建技术基石,以制程和封装、XPU架构、内存和存储、互连、安全、软件六大技术支柱,同时也以全尺度的存储和互连技术推进云边端的融合,引领计算创新。

在提升算力方面,英特尔XPU异构整合和oneAPI实现软硬协同。XPU可包含多种不同架构,包括在CPU、GPU、加速器和FPGA中部署的标量、矢量、矩阵和空间混合架构组合。值得一提的是,英特尔最新发布的GPU架构产品组合可带来计算性能的高效提升。

在Trish看来,XPU的策略是与英特尔定义的应用特性非常相关的,英特尔提供不同的产品,包括CPU、FPGA、加速器的选项,以及其他的产品对应应用的不同需求,这是一个比较核心的概念。

在软件层面,oneAPI则是通过一套软件接口、一套功能库为开发者提供不同架构上编程的便利性,同时已经开发过的程序在架构演进过程中不需要重新开发,从而轻易地迁移到未来的架构上。

Trish说,oneAPI一直在持续更新迭代,英特尔希望通过这样的软件开发平台可以帮助合作伙伴和客户在软件移植方面的工作上提供加速。“oneAPI是开源的,可以支持到第三方的产品线,加速HPC和AI融合,减少客户的工作量。”

传输方面,英特尔提供了以太网、硅光子为代表的一系列技术,大幅提升数据传输能力;存储方面,英特尔独具代表性的傲腾技术,突破内存和存储瓶颈,极大地提升了数据、存储和内存的可用性、经济性和灵活性。英特尔为智能边缘提供的软硬融合技术实力,为云边端技术融合打下坚实的基础,引领智能边缘的进一步发展。

目前,HPC云化趋势已经非常明显,而英特尔也跟云计算提供商有大量的合作,保证云计算提供商提供的服务可以满足大部分的HPC应用的需求,包括提供一个高性能的核心,提供更快的互连产品,提供更快的存储选项给到行业的最终用户。“我们在跟行业一线的云计算厂商合作,疫情加速更多中小型客户向云上HPC迁移,这里面蕴含巨大的商业机会。”Trish说。

而在传统硬件方面,英特尔也在保持着长久以来的优势地位。据赵帅介绍,依托基于英特尔至强可扩展处理器的π2.0平台,我们成功运行了一个4.4万亿粒子的N体模拟(N-body)算力,大概使用了集群80%的节点,使用了超过512个节点,两万多个核心,追踪了137亿宇宙演化过程,打破了天文学N体模拟的世界纪录。这一点是浪潮联合英特尔与上海交大在π2.0上取得的非常重大的成果。

除了π2.0之外,浪潮今年基于英特尔最新的Cascade Lake Refresh处理器,也为中南大学也设计了一套最强性能,目前高校应该是最强计算能力的超算系统,赵帅表示。这些都是我们跟英特尔基于我们最新的产品,一代一代的为中国的教育和科研用户创造更好的集群系统,也创造更大的价值。

加速行业落地

前面我们提到医疗卫生健康行业对于HPC是刚性需求,英特尔跟上海瑞金医院国家转化医学中心联合打造了高性能计算和AI融合的平台,瑞金医院国家转化医学中心属于转化医学国家重大科技基础设施,它是“十二五”期间国家重点规划的16项重大基础设施之一。

国家转化医学中心大数据平台负责人吕纲介绍说,在本次疫情当中,瑞金转化医学中心也和上海公卫中心进行了合作,对2020年1月20日-2月25日期间收治的326例患者,进行了病毒基因组、临床表现特点、免疫反应改变等数据的全面深度分析,其中112个COVID-19病例的病毒基因组进行了深度测序、组装和解析。相关研究成果最后也在《Nature》的主刊上得到了发表,从收到样本开始测序,到后续数据的产生、分析、以及最后文章的撰写与提交,总共是短短的45天时间,这个平台在其中起到了非常大的加速作用。

从架构上,中心采用了英特尔傲腾的内存产品来扩充内存密集型任务能力,也在尝试使用DAOS这个分布式文件系统,部署AI和一些组学计算的应用,通过它对数据快速流转的优势加速提升项目的运行效率。DAOS系统提供非常快的并发、聚合的带宽,符合组学超大文件数量读入读出的分析需求。有的时候,分析中还会产生大量的小文件,而傲腾内存可以大大加速这个分析过程。

“在组学分析当中,负载是非常多样化的,既有属于计算密集型应用,又是资源密集型需求,特定分析对内存需求也很大,由于数据量大,通常也会有很大的数据I/O方面的压力。这种情况下,最好的加速方式是采用CPU加速的方式。例如我们在一些基因组测序上的分析,就采用了CPU加速方式,利用其并行化的特点,能够使原来分析的速度提高5到10倍。”吕纲说。

特别是在傲腾内存使用方面,中心应用工作负载基本上分为两种,一种是Reference相关的,它对CPU核心数有比较多的需求。另外一种是Assembly,它需要把不同的碎片进行整合,这一类的计算对内存的需求就非常大,吕纲解释道。针对不同的应用类型,傲腾内存提供了内存模式和直连模式。比如需要进行全基因组组装的时候,当需要大内存的时候,我们会使用傲腾的内存模式来。另外一种情况是其他的机器会采用存储模式,通过DAOS分布式文件系统来对应用进行加速。

吕纲表示,在进行全基因组组装的时候,我们会使用傲腾的内存模式来实现大内存。其他的机器会采用存储模式,通过DAOS分布式文件系统来对应用进行加速。

对此,北京东方超算科技有限公司CEO白洋也表示,因为英特尔有很多新的技术需要慢慢去找一些使用场景。比如说AEP,它的特点是如果我们把它当成内存来用的话,它的内存容量要比传统的DDR的Memory要大。在很多情况下是和英特尔与终端用户共同探索,达到性价比和性能双重兼顾。

南京大学人工微结构科学与协作创新中心姚舸则表示,未来我们希望得到英特尔更多的支持,这样我们在未来可以更好的提升我们基础设施的能力,我们整个信息化包括高性能计算的能力。因为对于科研来说,其实多少都不够,老师总是可以用满。

结语

高性能计算已经融入了我们的生活,计算力的发展支撑了这一进程,并且成为了其中关键性的力量。从计算架构到应用,英特尔不断赋能HPC,推动计算产业的变革。

点击报名观看2020 IBM混合云与人工智能年度峰会线上直播

    扫一扫

    分享文章到微信


    北京第二十六维信息技术有限公司(至顶网)版权所有. 京ICP备15039648号-7 京ICP证161336号京公网安备 11010802021500号
    举报电话:13070156560 举报邮箱:jubao@zhiding.cn 安全联盟认证