Nvidia今天透露,已经收购了Run:ai,一家开发优化显卡集群性能软件的初创公司。
此次收购交易的条款并未披露。TechCrunch援引两位知情人士的话报道称,此次交易对Run:ai的估值为7亿美金,这几乎是这家总部位于特拉维夫的初创公司在收购之前筹集的资金金额的6倍。
Run:ai的正式名称为Runai Labs Ltd,提供的软件主要用于加速配备了GPU的服务器集群。据该公司称,由其技术支持的GPU环境可以运行的AI工作负载比其他方式要多出10倍,而且它是通过修复几个经常影响GPU驱动的服务器的常见处理效率低下问题来提高AI性能的。
Run:ai解决的第一个问题,源于AI模型通常使用多个显卡进行训练。为了将神经网络分布在GPU集群上,开发人员会将其分成多个软件片段,并在不同的芯片上训练每个片段。这些AI片段必须在训练过程中定期相互交换数据,这可能会导致性能问题。
如果AI片段必须与当前未运行的神经网络的不同部分交换数据,则必须暂停处理,直到后一个模块上线,由此产生的延迟会减慢AI训练的工作流程。Run:ai可以确保促进数据交换所需的所有AI片段同时在线,从而消除不必要的处理延迟。
Run:ai的软件还避免了所谓的内存冲突。在这种情况下,两个AI工作负载会尝试同时使用GPU内存的同一部分。GPU会自动解决此类错误,但故障排除过程需要时间。在AI训练过程中,修复内存冲突所花费的时间会显着增加并减慢处理速度。
在同一GPU集群上运行多个AI工作负载还可能导致其他类型的瓶颈。如果其中一个工作负载需要的硬件超出预期,那么它可能会使用分配给其他应用的基础设施资源并放慢这些应用的速度。Run:ai提供的功能可以确保每个AI模型都获得足够的硬件资源,在没有延迟的情况下完成分配的任务。
Nvidia副总裁、DGX云部门总经理Alexis Bjorlin在一篇博客文章中详细介绍了这一点,他说:“该公司在Kubernetes上构建了一个开放平台,这是现代AI和云基础设施的编排层,支持所有主流的Kubernetes变体,并与第三方AI工具和框架进行了集成。”
Run:ai主要销售核心基础设施优化的平台以及其他两种软件工具。首先是Run:ai Scheduler,它提供了一个为开发团队和AI项目分配硬件资源的接口,其次是Run:ai Dev,可以帮助工程师更快地设置用于训练神经网络的编码工具。
Nvidia已经在自己的多款产品中附带了Run:ai的软件,包括Nvidia Enterprise,是Nvidia为自己数据中心GPU提供的一套开发工具,以及DGX系列AI优化型设备。Run:ai也可在DGX Cloud上使用,并且通过该产品,企业可以访问主流公有云中的Nvidia AI设备。
Bjorlin表示,“在可预见的未来”,Nvidia将继续在当前定价模式下提供Run:ai的工具,与此同时,Nvidia将发布该软件的增强功能,重点关注有助于优化DGX云环境的功能。
Bjorlin详细介绍道:“客户可以期望他们将受益于更好的GPU利用率、改进的GPU基础设施管理以及开放架构带来的更高灵活性。”
好文章,需要你的鼓励
Roig Arena 将于 2025 年 9 月在瓦伦西亚开业,借助 Extreme Networks 的 6GHz Wi-Fi 与数据分析技术,实现无缝运营与个性化观众体验,打造全天候活动中心。
麦吉尔大学研究团队开发的LLMSYNTHOR框架创新性地将大语言模型用于高质量数据合成,解决了传统方法在处理复杂数据时的局限性。该框架将LLM视为非参数copula模拟器,通过"LLM提案采样"机制提高效率,并在摘要统计空间中迭代对齐真实与合成数据。实验证明LLMSYNTHOR在电子商务、人口统计和城市移动性等领域生成的合成数据具有卓越的统计保真度和实用价值,为隐私敏感领域的研究和决策提供了宝贵工具。
OpenMamba 是一款意大利独立滚动更新的 Linux 发行版,基于 Fedora 工具构建,提供 KDE Plasma 与 LXQt 桌面。它采用最新组件和标准打包工具,运行稳定且易用,适合规避主流系统限制的用户。
这篇论文介绍了首个开源的验证码测试平台Open CaptchaWorld,专为评估多模态大语言模型智能体的交互式推理能力而设计。研究团队开发了包含20种验证码类型的综合测试环境,并提出了"验证码推理深度"这一新指标来量化任务复杂度。实验结果显示,即使最先进的AI模型成功率也仅达40%,远低于人类的93.3%,揭示了当前技术在处理多步交互任务时的显著局限性。