至顶网服务器频道 11月09日 新闻消息(文/李祥敬):在步入新的时代,高性能计算受到云计算、大数据、人工智能等技术的影响呈现了新的特点。作为高性能计算市场的重要玩家,英特尔也在“与时俱进”进行技术创新。在近日举行的全国高性能计算年会(HPC China 2017)上,英特尔数据中心集团高性能计算、高性能数据分析行业应用总监Nidhi Chappell分享了英特尔对于AI时代下HPC的新思考。
英特尔数据中心集团高性能计算、高性能数据分析行业应用总监Nidhi Chappell
Nidhi表示,英特尔在高性能计算领域的研究有三个主要方向,一个是亿级计算,这也是现在整个HPC市场关注的重要方向;一个是HPC与云计算的融合,通过把HPC整合到云计算服务中,可以给高性能计算带来更高的运行效率;一个是HPC与AI的融合,探究如何把高性能计算与人工智能进行有效整合,进而给各行各业带来变革。
“在整合HPC与AI过程中,开发者是重要的一环。为此,英特尔在软件方面有英特尔并行计算中心计划(IPCC),并和高校合作,提高学生或者开发者的高性能计算、AI方面的知识。”Nidhi告诉至顶网记者。
在现在的HPC领域,E级计算是各个HPC厂商的竞争重点。同时,E级超级计算机也正在成为各国家争先努力攻克的对象,美国、日本、欧洲都宣布了E级超级计算机的计划。E级超级计算机对于高能核物理、材料化学、生命科学研究也具有现实意义。
为了达到E级计算的目标,英特尔成立了研发团队,聚焦基础架构层面实现E级计算,这个团队跟很多国家实验室、高校一起来研发相关的技术。
同时,英特尔与众多合作伙伴开展相关研究,这包括软硬件技术。Nidhi介绍说,在系统技术层面,英特尔与全球不同的超算中心合作开展研究,比如散热、系统管理等技术。而在上层软件方面,英特尔和很多高校一起合作和研发,涉及天文、地理、物理等领域。
其实除了处理器技术,英特尔在存储和网络等方面也在积极拓展为客户提供一个端到端的HPC解决方案,比如HPC Orchestrator、3D XPoint、Omni-Path等。英特尔Omni-Path高速互联架构(英特尔OPA)已成为100GB系统的标准架构。英特尔OPA是一种端到端互连解决方案,可提高不同规模集群的HPC工作负载。与InfiniBand EDR相比,该解决方案将应用性能提高了9%,并将平均架构成本降低了37%之多。
Nidhi表示,从HPC角度来说,性能一定是第一位的。英特尔为了实现性能的最大化,一个是提升计算力,比如新发布的至强可扩展处理器。另外就是如何让数据从内存或者网络中加载到处理器中实现高速运算。
“从HPC本身系统来看,目前面临着很多挑战,比如说内存墙、I/O墙以及CPU本身的计算能力的挑战。从我们自己来看,不管是内存、计算或互联等哪个方面,英特尔都有很深的技术储备,我们都能够很好地帮助业界以及合作伙伴来解决这些问题。”Nidhi说。
现在云计算提供商都推出了基于云端的高性能计算服务。云端HPC以公有云服务的形式把HPC交付给客户,帮助客户降低TCO,实现HPC资源按需租用,缩短产品上市周期。
人们为什么选择云端的HPC服务呢?这主要是成本驱动和效率驱动。在Nidhi看来,云上HPC可以实现按需扩展,当用户需要实现资源扩容时,可以非常好地借助云端的横向扩展能力实现Scale on Demand。
另外,HPC高性能计算本身需要的投资非常大,比如数据中心建设。但是云端HPC可以让用户实现按需使用,不需要自己进行基础设施的投资建设。
最后就是云计算提供商在技术能力上可以帮助用户实现优化运维,这样用户可以更加专注于HPC应用本身,而不用把过多精力耗费在日常的管理和运营上面。
Nidhi表示,现在HPC已经不单单是科研方面的事情,各行各业都在使用HPC加速业务创新。一个应用如果有大量的计算和数据,我们就把它定义为高性能计算。英特尔也正在通过计算、网络、存储部件的创新和产品的更新,包括Xeon、Xeon Phi、Omni-Path高速互联网络、存储、SSD等技术紧密地整合在一起形成整体的HPC解决方案组合。
总之,英特尔在HPC方面的战略,首先就是要保持各个重要的计算部件,存储部件和网络部件的领先性。比如Xeon、Xeon Phi和Omni-Path高速互联架构的网络、3D XPoint存储技术、并行文件系统等多项技术;其次,通过可扩展系统框架把这些部件有机地整合在一起形成完整的解决方案,提供给用户更多价值。另外,在软件生态系统方面,英特尔会广泛联合合作伙伴,包括教育科研机构,商业合作伙伴、ISV一起把软件代码做到现代化,并应用在最新的系统平台架构上。它不仅可以更好地利用CPU性能,也可以最大化地发挥计算、存储、网络各个部件的整个系统的性能。
此外,在Nidhi看来,HPC和AI的融合是大势所趋。AI和HPC有着天然的联系,二者的硬件系统有着很多相似性,比如都需要高性能的网络和大型GPU技术架构。HPC能帮助AI更好地发展,随着AI不断成熟,反过来也可以促进HPC部署和应用。在这其中,英特尔致力于通过统一的IA架构帮助用户实现HPC和AI的融合。
随着新技术的发展,比如云计算、大数据、人工智能等,传统高性能计算迎来变革,HPC与新技术的融合趋势非常明显。英特尔凭借在HPC方面的积累,努力帮助用户实现新型工作负载的优化,从而实现业务创新。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。