一段时间以来,将高、低精度数学运算相融合以加快科学发现的方法,成为技术行业热议的话题。AMD公司CEO苏姿丰在去年的ISSC主题演讲中表示,这种混合精度方法能够大幅降低电力需求,以有意义的方式扩展计算规模,将相当一部分负载从超级计算集群当中解放出来。
换句话说,与其用宝贵的计算资源解决更多问题,不如尝试用它解决更重要的问题。
HPC(高性能计算)主要以高精度模拟为核心。但在实际操作之前,我们首先需要确定待测试的理想目标或者预设性前提。在这方面,我们不必部署HPC资源来测试一项又一项假设,而更适合用精度虽低、但速度更快的AI模型来帮助筛选所有可能的潜在方案,直至找出完美的模拟条件。
这也正是微软Azure Quantum Elements(量子元素,简称AQE)团队与美国能源部太平洋西北国家实验室(PNNL)之间多年来采取的合作模式。
在最近博文中详尽阐述的概念验证部分,西北国家实验室与量子元素团队将微软掌握的巨量计算资源用于处理AI/机器学习与HPC混合工作负载,希望借此加快实验性电池的开发进度。这一次,微软不再满足于简单使用他人提供的单体(cell)设计更好的不间断电源(UPS)。
需要注意的是,尽管名为Azure量子元素团队,但此次实验并非借助量子计算技术。目前科技界的普遍共识是,能够用于精确建模的量子系统还需要几年时间才可能面世,但好消息是材料科学将成为最先从该技术中获益的探索领域之一。
短短几周之内,该团队就将问题表述成功转化为基于新发现化合物的实际成果。而且该项目最令人印象深刻的要数计算耗费的时间——总计只有80个小时。可以想见,如果未来投入更多资源,计算周期还可以进一步缩短。
量子元素与西北国家实验室在实现这一壮举的过程中,尝试了机器学习与模拟技术的多种具体应用。
第一步就是训练AI模型以评估不同材料的预期特性,并找到有希望的组合。通过运行相应算法,系统首先将候选化合物范围缩小到3200万种。虽然数量仍然太大、无法直接测试,但这还仅仅是首轮筛选。
双方随后对数据集开展进一步排序和简化,根据化合物的稳定性、反应性和导电潜力来识别有潜力的组合。这个筛选、模拟、再筛选的过程将范围缩小至50万种,并最终确定为800种化合物。
从这里开始,研究人员转而应用各种HPC模型。例如,首先使用密度泛函理论来计算每种材料在不同状态下的能级,接下来采用HPC与AI的结合以模拟各种材料的分子动力学特性,而后分析其内部原子运行。通过这个过程,研究人员将可行的候选化合物数量缩减到了150种。
最终,双方对数据集进行第三轮模拟,以确定哪些在成本、时间和可用性方面最为突出。由此,西北国家实验室与量子元素团队整理出一份包含18种以往从未被发现的化合物候选清单。
其中最有趣的部分,当数计算资源的具体分布。传统观点一直认为双精度HPC工作负载需要耗费大量计算时间,但此次实验证明未必如此。
根据微软的介绍,实验中90%的计算资源被用于机器学习类任务,旨在缩小候选化合物的范围。在全部80个小时的计算总量中,只有10%用于HPC工作负载。
无论如何,模拟终归只是模拟。作为对化学反应和工艺行为的最优近似计算结果,我们仍然需要实践测试来验证自己的发现。也正因为如此,除了投入数以亿计的美钞打造超级计算机来模拟美国的核储备效果以外,能源部还在地底深处开展了亚临界测试,希望了解这些模拟结果与现实场景间是否一致。
因此,在确定了最有希望的候选材料(由70%的纳和30%的锂组成的固态电解质)之后,西北国家实验室开始着手制造实体电池。整个过程包括合成化合物、研磨、压制,而后将材料加热至450至650摄氏度。但与计算阶段相比,实操过程相对较快,大约需要10个小时即可完成。
在传统上,能量密度最高的电池(包括电动汽车、笔记本电脑、智能手机和电动工具中使用的电池)通常需要用到锂元素。可遗憾的是,这种元素既缺乏可持续性、采集难度也极大。而另一方面,钠元素在地球上的储量则相对丰富,因此价格更为低廉。可问题是钠本身的能量密度远不及锂。通过将二者相结合,微软和西北国家实验室似乎成功在材料供应与能量密度之间找到了最佳平衡点。
而且在为发现新的电池化合物而兴奋之余,西北国家实验室首席数字官Brian Abrahamson也在微软的介绍博文中强调,此番实验的最大亮点其实跟电池化合物本身关系不大,而在于研究团队能够以怎样的速度完成探索。
在以往的电池研究当中,例如钒氧化还原液流电池,西北国家实验室的整个开发周期长达数年。相较于此次不足100小时的完整开发过程,不禁让人对AI+HPC的组合模式心生期待。
这种电池最终是否可行仍然有待观察。根据微软和西北国家实验室的介绍,测试阶段需要生产数百个原型电池,这肯定需要相当长的时间。
然而,西北国家实验室与微软也在考虑加快制造过程的方法。该实验室材料科学小组负责人Vijay Murugesan建议为化学与材料科学开发数字孪生模型,借此缩短测试时间。
近年来,英伟达无疑是数字孪生推广中的先驱者与核心力量。该公司强调,数字孪生有望成为企业(特别是物流与制造业企业)在方案实际落地前,以数字方式测试各种生产变化的重要手段。
在西北国家实验室,Murugesan建议研究人员将阳极、电解质、电压及其他因素的详细信息输入数字孪生,据此预测实验结果。一旦获得成功,这种方式必将大大加快新型化学物质的发现与产品转化。
说到这里,虽然微软与西北国家实验室之间的合作还主要集中在电池技术领域,但软件巨头同时强调,机器学习算法在设计上立足于通行的化学原理,可以应用于涉及材料科学的各种实际问题。
所以至少就目前来看,此项目已经初步展现出我们利用计算资源(包括低精度、高精度及双精度混合)解决完整问题的可能性。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。