全新产品使海量数据的迁移速度比之前快20倍
NVIDIA于今日发布NVIDIA Magnum IO软件套件。该产品让数据科学家及AI和高性能计算研究者可以在数分钟内处理好以往需要数小时才能处理完毕的海量数据。
Magnum IO专为解决存储和输入/输出(I/O)遇到瓶颈这一问题进行了优化。优化之后,执行财务分析、气候建模等复杂的、需要处理大量数据集的高性能计算工作负载时,多服务器、多GPU计算节点的数据处理速度比之前提高了20倍。
Magnum IO是NVIDIA与众多网络和存储行业领导企业(包括DataDirect Networks、Excelero、IBM、Mellanox和WekaIO)密切合作的成果。
NVIDIA创始人兼首席执行官黄仁勋表示:“AI等数据驱动型科学的核心是处理大量的数据,这些数据可能是收集来的,也可能是模拟的。然而,随着数据的规模和速度呈现指数级的增长,数据处理本身已成为数据中心所要面临的最大挑战,同时也是最主要的成本之一。”
他还表示:“顶级的计算需要顶级的I/O。Magnum IO能够为I/O与存储带来具有革命性计算性能的NVIDIA GPU加速。现在,AI研究者和数据科学家可以专心完成自己的工作,无需再等待数据。”
Magnum IO的核心是GPUDirect。它为数据提供了一条路径,这条路径可以绕过CPU,而在GPU、存储和网络设备所提供的“开放式高速公路”上进行传输。GPUDirect由点对点和RDMA组件组成,兼容多种通信互联产品与API,包括NVIDIA NVLink和NCCL以及OpenMPI和UCX。
其最新组件GPUDirect Storage使研究者能够在访问存储时绕过CPU,快速访问用于模拟、分析或可视化的数据文件。
NVIDIA Magnum IO软件现已上市,但GPUDirect Storage仅为部分用户提供了早期访问权限。NVIDIA计划在2020年上半年向所有客户提供GPUDirect Storage。
好文章,需要你的鼓励
Panzura在其Symphony数据管理平台中新增了访问控制列表分析和自动修复功能。该平台专门处理EB级非结构化数据集,具备扫描、分层、迁移和合规分析等功能。Panzura声称58%的企业受到权限扩散问题影响,74%的数据泄露涉及特权凭证滥用。新版本重点解决权限继承中断、过度授权访问和合规盲点等问题,提供完整的文件系统权限可视性和快速问题解决能力。
沙特TachyHealth团队开发的32亿参数医疗AI模型Gazal-R1,通过创新的双阶段训练方法在医疗推理任务上超越了12倍大的模型,在MedQA等测试中取得87.1%的优异成绩,展现了精巧训练策略胜过规模扩张的重要启示,为资源有限的医疗AI研究提供了新路径。
Arista Networks宣布收购博通旗下VeloCloud SD-WAN业务,交易金额约10亿美元。VeloCloud是SD-WAN领域先驱企业,拥有集成安全功能的云管理SD-WAN解决方案。此次收购填补了Arista在分支机构连接方面的空白,使其能够提供端到端网络解决方案。同时,前思科高管Todd Nightingale加入担任总裁兼首席运营官,将助力公司拓展更广泛的客户群体。
奥地利维也纳医科大学研究团队开发了RetFiner技术,通过让眼科AI模型同时学习OCT图像和医疗文字描述,显著提升了诊断准确率。该方法采用四种训练任务让AI模型建立图像与文字的深层联系,在三个主流眼科AI模型上实现了2-6个百分点的性能提升,为医学AI发展开辟了新方向。