Nvidia今天透露,已经收购了Run:ai,一家开发优化显卡集群性能软件的初创公司。
此次收购交易的条款并未披露。TechCrunch援引两位知情人士的话报道称,此次交易对Run:ai的估值为7亿美金,这几乎是这家总部位于特拉维夫的初创公司在收购之前筹集的资金金额的6倍。
Run:ai的正式名称为Runai Labs Ltd,提供的软件主要用于加速配备了GPU的服务器集群。据该公司称,由其技术支持的GPU环境可以运行的AI工作负载比其他方式要多出10倍,而且它是通过修复几个经常影响GPU驱动的服务器的常见处理效率低下问题来提高AI性能的。
Run:ai解决的第一个问题,源于AI模型通常使用多个显卡进行训练。为了将神经网络分布在GPU集群上,开发人员会将其分成多个软件片段,并在不同的芯片上训练每个片段。这些AI片段必须在训练过程中定期相互交换数据,这可能会导致性能问题。
如果AI片段必须与当前未运行的神经网络的不同部分交换数据,则必须暂停处理,直到后一个模块上线,由此产生的延迟会减慢AI训练的工作流程。Run:ai可以确保促进数据交换所需的所有AI片段同时在线,从而消除不必要的处理延迟。
Run:ai的软件还避免了所谓的内存冲突。在这种情况下,两个AI工作负载会尝试同时使用GPU内存的同一部分。GPU会自动解决此类错误,但故障排除过程需要时间。在AI训练过程中,修复内存冲突所花费的时间会显着增加并减慢处理速度。
在同一GPU集群上运行多个AI工作负载还可能导致其他类型的瓶颈。如果其中一个工作负载需要的硬件超出预期,那么它可能会使用分配给其他应用的基础设施资源并放慢这些应用的速度。Run:ai提供的功能可以确保每个AI模型都获得足够的硬件资源,在没有延迟的情况下完成分配的任务。
Nvidia副总裁、DGX云部门总经理Alexis Bjorlin在一篇博客文章中详细介绍了这一点,他说:“该公司在Kubernetes上构建了一个开放平台,这是现代AI和云基础设施的编排层,支持所有主流的Kubernetes变体,并与第三方AI工具和框架进行了集成。”
Run:ai主要销售核心基础设施优化的平台以及其他两种软件工具。首先是Run:ai Scheduler,它提供了一个为开发团队和AI项目分配硬件资源的接口,其次是Run:ai Dev,可以帮助工程师更快地设置用于训练神经网络的编码工具。
Nvidia已经在自己的多款产品中附带了Run:ai的软件,包括Nvidia Enterprise,是Nvidia为自己数据中心GPU提供的一套开发工具,以及DGX系列AI优化型设备。Run:ai也可在DGX Cloud上使用,并且通过该产品,企业可以访问主流公有云中的Nvidia AI设备。
Bjorlin表示,“在可预见的未来”,Nvidia将继续在当前定价模式下提供Run:ai的工具,与此同时,Nvidia将发布该软件的增强功能,重点关注有助于优化DGX云环境的功能。
Bjorlin详细介绍道:“客户可以期望他们将受益于更好的GPU利用率、改进的GPU基础设施管理以及开放架构带来的更高灵活性。”
好文章,需要你的鼓励
北京大学研究团队开发出基于RRAM芯片的高精度模拟矩阵计算系统,通过将低精度模拟运算与迭代优化结合,突破了模拟计算的精度瓶颈。该系统在大规模MIMO通信测试中仅需2-3次迭代就达到数字处理器性能,吞吐量和能效分别提升10倍和3-5倍,为后摩尔时代计算架构提供了新方向。
普拉大学研究团队开发的BPMN助手系统利用大语言模型技术,通过创新的JSON中间表示方法,实现了自然语言到标准BPMN流程图的自动转换。该系统不仅在生成速度上比传统XML方法快一倍,在流程编辑成功率上也有显著提升,为降低业务流程建模的技术门槛提供了有效解决方案。
谷歌宣布已将约3万个生产软件包移植到Arm架构,计划全面转换以便在自研Axion芯片和x86处理器上运行工作负载。YouTube、Gmail和BigQuery等服务已在x86和Axion Arm CPU上运行。谷歌开发了名为CogniPort的AI工具协助迁移,成功率约30%。公司声称Axion服务器相比x86实例具有65%的性价比优势和60%的能效提升。
北京大学联合团队发布开源统一视频模型UniVid,首次实现AI同时理解和生成视频。该模型采用创新的温度模态对齐技术和金字塔反思机制,在权威测试中超越现有最佳系统,视频生成质量提升2.2%,问答准确率分别提升1.0%和3.3%。这项突破为视频AI应用开辟新前景。