全新产品使海量数据的迁移速度比之前快20倍
NVIDIA于今日发布NVIDIA Magnum IO软件套件。该产品让数据科学家及AI和高性能计算研究者可以在数分钟内处理好以往需要数小时才能处理完毕的海量数据。
Magnum IO专为解决存储和输入/输出(I/O)遇到瓶颈这一问题进行了优化。优化之后,执行财务分析、气候建模等复杂的、需要处理大量数据集的高性能计算工作负载时,多服务器、多GPU计算节点的数据处理速度比之前提高了20倍。
Magnum IO是NVIDIA与众多网络和存储行业领导企业(包括DataDirect Networks、Excelero、IBM、Mellanox和WekaIO)密切合作的成果。
NVIDIA创始人兼首席执行官黄仁勋表示:“AI等数据驱动型科学的核心是处理大量的数据,这些数据可能是收集来的,也可能是模拟的。然而,随着数据的规模和速度呈现指数级的增长,数据处理本身已成为数据中心所要面临的最大挑战,同时也是最主要的成本之一。”
他还表示:“顶级的计算需要顶级的I/O。Magnum IO能够为I/O与存储带来具有革命性计算性能的NVIDIA GPU加速。现在,AI研究者和数据科学家可以专心完成自己的工作,无需再等待数据。”
Magnum IO的核心是GPUDirect。它为数据提供了一条路径,这条路径可以绕过CPU,而在GPU、存储和网络设备所提供的“开放式高速公路”上进行传输。GPUDirect由点对点和RDMA组件组成,兼容多种通信互联产品与API,包括NVIDIA NVLink和NCCL以及OpenMPI和UCX。
其最新组件GPUDirect Storage使研究者能够在访问存储时绕过CPU,快速访问用于模拟、分析或可视化的数据文件。
NVIDIA Magnum IO软件现已上市,但GPUDirect Storage仅为部分用户提供了早期访问权限。NVIDIA计划在2020年上半年向所有客户提供GPUDirect Storage。
好文章,需要你的鼓励
购买笔记本电脑时,用户现在需要了解Copilot+ PC、NPU和本地AI处理等新概念。搭载专用神经处理单元(NPU)的Copilot+ PC能提供至少40 TOPS的AI算力,支持实时字幕翻译、视频通话优化、AI图像编辑等功能,同时提升续航表现。戴尔最新产品线涵盖多种选择:Dell 14 Plus适合学生和通勤族,Dell 16 Plus适合多任务办公用户,XPS 14面向轻度创作者,XPS 16则以31小时超长续航和3.6磅轻薄机身成为内容创作者的旗舰之选。
香港科技大学与华为联合提出LISA训练方法,通过让副网络对齐"似然分数",将ControlNet等图像生成模型的训练收敛速度提升逾2.78倍,同时改善图像质量与条件控制精度。
圣安德鲁斯大学博士Henry Legg在《自然》杂志发表同行评审论文,对微软拓扑间隙协议(TGP)框架提出质疑,认为该框架在推断Majorana粒子量子态存在方面存在缺陷,且实验数据分析结论可能有误。微软此前宣称将于2029年实现可扩展量子计算机,并推出Majorana 2芯片。对此,微软坚持立场,表示已发表正式反驳并获《自然》收录,对研发路线图充满信心。
上交大与爱丁堡大学提出InfoKV,将信息熵与注意力权重结合用于KV缓存压缩,让大模型在仅保留12.5%缓存的条件下实现接近甚至超越完整缓存的长推理性能。