美国劳伦斯·利弗莫尔国家实验室(Lawrence Livermore National Laboratory)已经部署了一个代号“Mammoth”的大内存高性能计算集群,该集群使用AMD的芯片帮助科学家们进行COVID-19方面的研究。
Mammoth系统由64台服务器组成,每台服务器均配备了2个AMD Epyc CPU。
该系统总共有8192个处理器核心,据说在处理双精度浮点值时的峰值性能为294 teraflops。双精度浮点值是一种数据单位,每个单位占用64个位,在科学计算中很受欢迎,因为可以容纳非常大的分数。
Mammoth与大多数高性能计算群集的不同之处在于,它的亮点是内存而不是原始计算能力。这64台服务器中,每台服务器都是基于2个Epyc CPU的,有2 TB高速DRAM内存,以及近4 TB的非易失性内存。
这种不同寻常的系统设计与计算效率有关。劳伦斯·利弗莫尔国家实验室的科学家正在运行病毒模拟和其他需要处理大量数据集的复杂工作负载,用于进行COVID-19方面的研究。
这些数据集在某些情况下过于庞大使得标准服务器内存无法容纳,因此必须在多台计算机之间进行拆分,这会导致效率低下,从而降低了处理速度。Mammoth系统的内存优化服务器打破了这个限制。
劳伦斯·利弗莫尔国家实验室的计算机科学家Thomas Desautels解释说:“在我们的工作流程中,我们使用Rosetta Flex来计算结合自由能(一种蛋白质特性),Rosetta Flex代码在其他系统上运行的时候会受到内存的限制,每个计算最多可以同时运行12或者16次计算。Mammoth让我们能够在单个节点上同时运行128个Rosetta Flex计算,从而将吞吐量提高约8倍。”
据称Mammoth可以将某些基因组分析的时间从几天缩短到几个小时。此外,劳伦斯·利弗莫尔国家实验室的科学家们花费在将数据集分成较小的块以克服服务器内存限制上的时间,也进一步缩短了。
该项目也让AMD Epyc CPU在能够支持内存密集型计算能力的背景下,得到了更有力的验证。能够将大量数据一次性地存储在内存中,这一能力不仅对科学工作负载很重要,对于企业分析应用和数据库这一庞大的市场来说也很重要。
同时,Mammoth系统也是AMD最近一系列高性能计算最新成果之一。此前,AMD与HPE旗下Cray受美国能源部委托合作构建了占地面积达两个篮球场大小的1.5exaflop超级计算机。
好文章,需要你的鼓励
这项由加州大学圣地亚哥分校和微软研究院合作开发的REAL框架,通过程序分析反馈训练大型语言模型生成高质量代码。与传统方法不同,REAL采用强化学习将代码安全性和可维护性作为奖励信号,不依赖人工标注或特定规则。研究在多个数据集上的实验表明,REAL在保证功能正确性的同时显著提高了代码质量,有效解决了"即兴编程"中的安全漏洞和维护性问题,为AI辅助编程提供了新的范式。
加州大学伯克利分校与Meta FAIR研究团队开发了"Self-Challenging"框架,让大语言模型通过自己创建和解决任务来提升能力。该方法引入创新的"Code-as-Task"格式,包含指令、验证函数、示例解决方案和失败案例,确保生成的任务既可行又有挑战性。在工具计算、网页浏览、零售服务和航班预订四种环境测试中,仅使用自生成训练数据,Llama-3.1-8B模型性能提升了两倍多,证明AI可以通过自我挑战实现有效学习,减少对人类标注的依赖。
南洋理工大学与SenseTime Research合作提出了PoseFuse3D-KI,一种创新的人体中心关键帧插值框架。该方法将3D人体模型信息融入扩散过程,解决了现有技术在处理复杂人体动作时产生扭曲结果的问题。研究团队开发了专门的SMPL-X编码器直接从3D空间提取几何信息,并设计了融合网络将3D线索与2D姿态无缝整合。他们还构建了CHKI-Video数据集,包含2,614个视频片段及完整的人体标注。实验结果显示,PoseFuse3D-KI在PSNR上提升9%,LPIPS减少38%,显著超越现有方法。
这项研究提出了LongGuide算法,解决了大型语言模型在长文本生成任务中的局限性。研究团队发现,仅依靠上下文学习无法使模型充分掌握文本的语言和格式特性。LongGuide通过自动生成两种指导原则:度量指导原则和输出约束指导原则,显著提升了模型性能。在七种长文本生成任务中,该方法使开源和闭源模型的ROUGE-L评分平均提高约6%。LongGuide具有通用性强、易于学习、成本效益高等优点,为提升AI长文本生成能力提供了新方向。