经过十余年的发展,ASC世界大学生超算竞赛已经发展为全球最大规模的大学生超算竞赛。1月4日,2024 ASC世界大学生超级计算机竞赛(ASC24)启动会在北京举行。ASC24吸引了全球超过300支高校队伍报名参赛,通过初赛选拔的队伍将参加4月9日-13日在上海大学举行的总决赛。
ASC组委会委员刘军接受记者采访时表示,今年ASC是第11届,预示着新的开端。今年大赛的东道主是上海大学,提供了完全线下的竞赛环境。
上海大学是国内较早开展高性能计算集群研制和应用的高校之一,牵头建设上海市的智能计算系统工程技术研究中心,一直在参与ASC,取得了非常不错的成绩。
上海大学计算机工程与科学学院院长谢少荣介绍说,学院推出了“1024”人才培养举措。包含了4个零距离:与一流名师的零距离、与世界顶尖高手零距离、与海外名校零距离、与龙头企业零距离。“这次我们申请举办ASC24就是一个非常好的实现四个零距离的机会,也是夯实’1024‘人才培养举措非常有力的实践方式。”
为了举办ASC24,上海大学进行了充分的准备工作,比如组团访问了上届主办方中国科学技术大学,学习他们成功的办赛经验,另外跟组委会大赛代表进行了多次讨论,深入了解赛场要求、电力需求、财务、安全保障、后勤保障、人员接待等等方面的要求。
历届最大的赛事规模
ASC竞赛发韧于2012年,经过11年发展,经历了从中国到亚洲,再从亚洲到世界的规模升级,影响力不断攀升。迄今为止,ASC 竞赛已吸引到全球超过10000名大学精英人才参与,已经成为世界最大规模大学生超算竞赛,与美国SC、德国ISC并称全球三大超算竞赛。
ASC超算大赛迄今已举行至第十一届,吸引来自全球六大洲上万名大学生报名参赛。
本次ASC24吸引了全球五大洲共359支队伍报名,是历届超算大赛中参赛高校队伍最多,覆盖国家和地区最多的一届,来自全球不同肤色、不同语言、不同文化的高校大学生将重聚线下,面对面同台竞技,挥洒激情、汗水,应对来自脑力、体力与协作力的三重挑战。他们不仅将会在本届大赛增强知识储备,锻炼动手能力,扩充技术的视野,同时也促进跨国交流,这对于他们成长为一名优秀的计算机工程师,有非常重要的积极作用。
本次报名队伍中,来自大陆外的高校队伍数量增加89%,吸引新加坡南洋理工大学、美国新墨西哥大学、台湾清华大学、香港中文大学等知名高校参赛,多个国家和地区首次参与报名,如阿根廷、沙特阿拉伯、哈萨克斯坦以及来自中国的澳门、新疆等地区。
ASC24继续采用“预赛+决赛”的赛制。预赛阶段为2023年12月16日-2024年1月21日,参赛队按要求提交赛题提案。预赛评审日时间为2024年2月3日,评委会经过评审选出二十余支高校队伍进入总决赛。
总决赛时间为2024年4月9日-13日,晋级的高校队伍将在上海大学校园内进行面对面现场总决赛,角逐冠亚军,以及e Prize计算挑战奖、最高计算性能奖、超级团队奖等各大奖项。
挑战与实用兼具的赛题
近两年,超算与人工智能、大数据等新兴技术持续融合,应用边界不断扩展,场景不断丰富,成为催生科技创新和产业变革的重要驱动。如科学智能 AI for Science,高性能数据分析HPDA 等,并在风险人员识别、自动驾驶、新药研发、灾难气象预测等领域加速落地。
每届ASC大赛的赛题注重与国际大科学问题结合,以及与领先的科技企业合作,开展人工智能等方面的探索。刘军说,赛题需要具有一定的代表性和超前性。往届ASC与科大讯飞、百度、微软等合作推出了语音识别、自动驾驶等创新赛题。
如ASC17人工智能赛题为百度提供的交通预测应用:各队伍在3000瓦功耗下搭建系统集群,利用百度PaddlePaddle框架开发深度学习神经网络算法,预测多达300+道路在某规定时间的早高峰路况。ASC18人工智能赛题是微软提供的,关于自然语言阅读理解中的搜索提问回答预测(Answer Prediction for Search Query):参赛队需要基于搜索引擎提问过程中构建的巨大数据集,研究创造属于自己的AI回答预测方法和模型,实现准确回答。
当前,LLM推理加速成为业界和学界的研究热点,由于LLM参数规模庞大,对计算和内存的需求大,推理成本高昂,限制了LLM的应用落地。
本次赛题要求参赛队伍基于流行的开源大语言模型LLaMA2,构建并优化推理引擎,在组委会提供的样本数据集上实现高吞吐推理处理。该模型具有700亿参数,各参赛队伍需要充分了解并掌握大模型常见的并行方法,并学习使用各种技术来优化推理过程。
刘军表示,在2022年ASC推出了源大模型的赛题,当时ChatGPT还没推出,而今天大模型领域百花齐放,LLaMA在全球范围来讲具备泛用性。“因为ASC是一个全球性的比赛,参赛团队在开源模型上开展相应的工作,能够获取到的广泛的资源,包括论文或者是相应的代码支持。”
智源研究院大模型行业应用负责人周华告诉记者,LLaMA带动了整个开源大模型,对于产业界来说认知是最高的。之所有选择700亿参数版本,是因为这个参数量的推理需要非常大的资源,成本也非常高。参赛队伍需要在限定的硬件上进行非常多的优化工作,提升性能才能将模型运行起来。
为了帮助参赛队伍更好地备战,智源研究院将会安排相关的研究院给参赛队伍讲解大模型基础知识和业界关注点。同时,在大模型优化结果评测方面,智源研究院在模型研发过程中积累了非常多的测试结果,也为评价参赛团队的成果提供了参考指标。
虽然大模型是业界的热点,但是如何将大模型与行业应用进行融合是未来我们需要解决的难题。随着大模型不断落地,ASC赛题也会聚焦到大模型与行业应用场景的问题。
除了大模型这样的热点,ASC24的赛题也聚焦在行业实际应用。ASC24的渗流数值模拟赛题旨在研究多相流体在多孔介质中的复杂流动规律与特征。ASC24赛题要求各参赛队伍模拟石油开采场景中油、气、水等多相流体的渗流情况,并优化大规模并行计算过程,提升离散算法的计算性能和并行效率。
中国科学院数学与系统科学研究院研究员张晨松表示,工业仿真软件和AI融合具有非常广泛的场景,比如利用数据以及AI技术构建模型,代替原有的专家系统,毕竟精细的数值模拟在工业应用里面非常重要。“渗流力学是交叉学科,涉及流藏工程、地质力学、流体力学、计算机、应用数学等。我们的题目设计考察的是计算机程序开发的能力以及在超算上并行资源利用的能力,参赛同学需要把优化的精力集中在算法的提升以及对固定算法的代码的性能优化上面。”
本届ASC24针对如上赛题,并不限制加速卡种类的使用,GPU、PVC、FPGA等皆可,如何实现异构加速,同样也是本次竞赛的重要挑战。
需要特别指出的是,ASC24组委会为参赛师生举办了竞赛集训营,邀请国内知名高校及研究机构的专家详解ASC竞赛规则、集群搭建及优化、并行程序设计、AI语言大模型等知识,介绍赛题及解题思路,同时邀请往届ASC获奖队伍分享备战心得体会。
结语
回首ASC过去的历程,众多大学生通过以赛代学以赛促练快速成长,跨进前沿科技大门,奔赴到超算应用的各行业领域,源源不断地成为产业发展中的新鲜血液。
展望下一个十年,ASC24将成为新的起点,推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。
从ASC走出的科技新青年们,能在计算科学领域不断挑战前沿的科学问题,拓展在超算领域广度和深度,成长为未来科学前沿的先锋,推动科学与工程领域的重大突破。
好文章,需要你的鼓励
UniR(Universal Reasoner)是一种创新的推理增强方法,可为冻结的大语言模型提供即插即用的推理能力。由韩国科学技术院研究团队开发,该方法将推理能力分解为独立的轻量级模块,无需改变主模型结构。UniR的核心优势在于高效训练(仅更新小型推理模块)、出色的模型间迁移能力(小模型可指导大模型)以及模块组合能力(多个专用模块可通过logits相加组合使用)。在数学推理和翻译测试中,UniR显著超越现有微调方法,展示了轻量级模块如何有效增强大语言模型的推理能力。
Nebius团队开发了SWE-rebench,一个自动化管道用于从GitHub收集软件工程任务并进行去污染评估。该系统解决了两大挑战:高质量训练数据稀缺和评估基准容易被污染。通过四阶段处理(初步收集、自动安装配置、执行验证和质量评估),SWE-rebench构建了包含超过21,000个Python交互式任务的数据集,并提供持续更新的评估基准。研究发现部分语言模型在传统基准上的表现可能被污染效应夸大,而DeepSeek模型在开源模型中表现最为稳健。
这项研究提出了JQL(发音为"Jackal"),一种通过多语言方法提升大型语言模型预训练数据质量的创新系统。研究团队从拉马尔研究所等机构通过四阶段方法解决了多语言数据筛选的难题:先由人类评估内容教育价值创建基准数据,然后评估大型语言模型作为"评判者"的能力,接着将这些能力提炼到轻量级评估器中,最后应用于大规模数据筛选。实验表明,JQL在35种语言上显著优于现有方法,甚至能泛化到未见过的语言如阿拉伯语和中文,为多语言AI发展提供了高效可靠的数据筛选方案。
浙江大学和西湖大学研究团队开发的Styl3R实现了艺术风格化3D重建的重大突破,能在不到一秒内从少量未标定照片和任意风格图像创建具有多视角一致性的3D艺术场景。通过创新的双分支网络架构将结构建模与外观着色分离,系统不仅保持了原始场景结构,还准确捕捉了参考风格特征。与现有方法相比,Styl3R在处理速度和视觉质量上均显著领先,为创意内容制作开辟了全新可能。