2022年1月5日,2022 ASC世界大学生超级计算机竞赛(ASC22)初赛正式开启。来自全球五大洲的300多支参赛队伍将在接下来的近两个月中,挑战“源”AI语言大模型、2020年戈登·贝尔奖获奖应用DeePMD-kit等尖端应用赛题。
报名参加ASC22的高校队伍中,不乏在上一个国际超算赛季表现突出的队伍,如ISC21和SC21冠军清华大学、ASC20-21现场决赛总冠军及ISC21季军暨南大学、ASC20-21线上决赛总冠军台湾清华大学、SC21 IndySCC超算竞赛冠军中山大学,以及SC21亚军上海科技大学、SC21最高计算性能奖得主南方科技大学、SC21 IndySCC季军瑞士苏黎世联邦理工学院等。此外还有中国科学技术大学、美国德州A&M大学、俄罗斯乌拉尔联邦大学、澳大利亚蒙纳什大学、哥伦比亚EAFIT大学等强队。
在ASC22初赛中,所有大学生队伍需要完成两道极具挑战性的尖端应用赛题,分别是“源”AI语言大模型和AI+Science代表性软件DeePMD-kit。
今年的AI赛题聚焦当前业界前沿AI大模型。“源”是2021年发布的一个面向中文的巨量语言模型,参数量达2457亿,刷新了业界多个中文榜单的记录,且在众多的语言处理任务场景中表现出了广阔的应用前景。AI大模型的训练面临着计算量和并行策略设计的双重挑战,因此也是参赛队展示超算性能优化能力的绝佳试验场。ASC22组委会提供了100GB的高质量中文数据集,要求参赛队基于这一数据集实现一个47亿参数的小号“源”模型。值得一提的是,组委会并没有提供模型设计的参考代码,这意味着参赛队需要自行完成模型结构构建和全部训练过程,并合理设计模型训练策略,以期得到最佳的计算性能。
DeePMD-kit赛题将引导大学生进行一场人工智能+科学研究(AI+Science)的前沿探索。科学研究与人工智能结合被视为当前最值得期待的创新趋势之一,机器学习分子动力学DeePMD-kit的出现成功推动了相关领域的跨越式发展。而高性能计算的加入将机器学习分子动力学的潜力持续释放:DeePMD-kit在超级计算机顶点(Summit)上达到了双精度91P的峰值性能,到解时间快于之前基线水平1000倍以上,相关成果获得了2020年戈登·贝尔奖。可以说DeePMD-kit的出现定义了科学研究+机器学习+高性能计算的新范式。本次赛题聚焦DeePMD-kit的训练效率优化,通过高性能优化提升训练速度对于用户来说至关重要。参赛选手将对DeePMD-kit的模型构建过程有一个直观认识,并可以使用高性能优化的手段优化整个训练过程。
ASC22世界大学生超算大赛的启动会将于1月19日在北京召开,届时权威专家学者、东道主高校、参赛队代表将共同开启ASC22序幕,会上将公布总决赛东道主等重磅信息。
为帮助各参赛队伍高效备战,ASC22竞赛集训营将于1月20日-21日在线上举行。来自英特尔、英伟达、中国科学院、深势科技、高效能服务器和存储技术国家重点实验室的HPC及AI专家将详解竞赛规则、集群搭建及优化、赛题等内容,进行参赛指导。往届大赛获奖团队也将现身集训营分享参赛经验。
ASC 世界大学生超级计算机竞赛是由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC超算大赛迄今已举行至第十届,吸引超过万名世界各国大学生参赛,是全球最大规模的超算竞赛。
内容来源:亚洲超算协会
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。