全新产品使海量数据的迁移速度比之前快20倍
NVIDIA于今日发布NVIDIA Magnum IO软件套件。该产品让数据科学家及AI和高性能计算研究者可以在数分钟内处理好以往需要数小时才能处理完毕的海量数据。
Magnum IO专为解决存储和输入/输出(I/O)遇到瓶颈这一问题进行了优化。优化之后,执行财务分析、气候建模等复杂的、需要处理大量数据集的高性能计算工作负载时,多服务器、多GPU计算节点的数据处理速度比之前提高了20倍。
Magnum IO是NVIDIA与众多网络和存储行业领导企业(包括DataDirect Networks、Excelero、IBM、Mellanox和WekaIO)密切合作的成果。
NVIDIA创始人兼首席执行官黄仁勋表示:“AI等数据驱动型科学的核心是处理大量的数据,这些数据可能是收集来的,也可能是模拟的。然而,随着数据的规模和速度呈现指数级的增长,数据处理本身已成为数据中心所要面临的最大挑战,同时也是最主要的成本之一。”
他还表示:“顶级的计算需要顶级的I/O。Magnum IO能够为I/O与存储带来具有革命性计算性能的NVIDIA GPU加速。现在,AI研究者和数据科学家可以专心完成自己的工作,无需再等待数据。”
Magnum IO的核心是GPUDirect。它为数据提供了一条路径,这条路径可以绕过CPU,而在GPU、存储和网络设备所提供的“开放式高速公路”上进行传输。GPUDirect由点对点和RDMA组件组成,兼容多种通信互联产品与API,包括NVIDIA NVLink和NCCL以及OpenMPI和UCX。
其最新组件GPUDirect Storage使研究者能够在访问存储时绕过CPU,快速访问用于模拟、分析或可视化的数据文件。
NVIDIA Magnum IO软件现已上市,但GPUDirect Storage仅为部分用户提供了早期访问权限。NVIDIA计划在2020年上半年向所有客户提供GPUDirect Storage。
好文章,需要你的鼓励
国际能源署发布的2025年世界能源展望报告显示,全球AI竞赛推动创纪录的石油、天然气、煤炭和核能消耗,加剧地缘政治紧张局势和气候危机。数据中心用电量预计到2035年将增长三倍,全球数据中心投资预计2025年达5800亿美元,超过全球石油供应投资的5400亿美元。报告呼吁采取新方法实现2050年净零排放目标。
维吉尼亚理工学院研究团队对58个大语言模型在单细胞生物学领域的应用进行了全面调查,将模型分为基础、文本桥接、空间多模态、表观遗传和智能代理五大类,涵盖细胞注释、轨迹预测、药物反应等八项核心任务。研究基于40多个公开数据集,建立了包含生物学理解、可解释性等十个维度的评估体系,为这个快速发展的交叉领域提供了首个系统性分析框架。
AMD首席执行官苏姿丰在纽约金融分析师日活动中表示,公司已准备好迎接AI浪潮并获得传统企业计算市场更多份额。AMD预计未来3-5年数据中心AI收入复合年增长率将超过80%,服务器CPU收入份额超过50%。公司2025年预期收入约340亿美元,其中数据中心业务160亿美元。MI400系列GPU采用2纳米工艺,Helios机架系统将提供强劲算力支持。
西湖大学王欢教授团队联合国际研究机构,针对AI推理模型内存消耗过大的问题,开发了RLKV技术框架。该技术通过强化学习识别推理模型中的关键"推理头",实现20-50%的内存缩减同时保持推理性能。研究发现推理头与检索头功能不同,前者负责维持逻辑连贯性。实验验证了技术在多个数学推理和编程任务中的有效性,为推理模型的大规模应用提供了现实可行的解决方案。