NVIDIA 发布 Nemotron 3 Nano Omni 模型，融合视觉、音频和语言，助力 AI 智能体效率提升高达 9 倍

如今的 AI 智能体系统需要分别调用视觉、语音和语言模型 —— 而在模型间传递数据的过程中，不仅耗时，还会丢失上下文信息。

今日发布的 NVIDIA Nemotron 3 Nano Omni 是一款开放式多模态模型，它将上述功能集成至一个系统中，使智能体能够对视频、音频、图像和文本进行高级推理，从而提供更快、更智能的响应。这一出色的模型为企业和开发者提供了一条生产路径，帮助其构建更高效且更准确的多模态 AI 智能体，并赋予他们完全的部署灵活性与控制权。

Nemotron 3 Nano Omni 凭借其较高的准确性和成本优势，为开放式多模态模型设定了新的效率边界，并在复杂文档智能以及视频和音频理解领域的六项榜单中名列前茅。

目前已采用 Nemotron 3 Nano Omni 的 AI 和软件公司包括 Aible、Applied Scientific Intelligence (ASI)、Eka Care、Foxconn、H Company、Palantir 和 Pyler，同时戴尔科技、Docusign、Infosys、K-Dense、Lila、Oracle 和 Zefr 正在评估该模型。

H Company 首席执行官 Gautier Cloix 表示：“要构建实用的智能体，不能花几秒钟等待模型来解析屏幕。我们的智能体基于 Nemotron 3 Nano Omni 进行构建，可以快速解析全高清屏幕录制内容 —— 而这在过去是无法实现的。这不仅仅是速度上的提升，也改变了我们的智能体实时感知和与数字环境交互的方式。

Nemotron 3 Nano Omni 助力打造更快、更精简的多模态智能体

试想一个客户支持 AI 智能体在处理屏幕录制内容的同时，还需要分析上传的通话音频并检查数据日志；或是一个财务 AI 智能体需要负责解析多个 PDF、电子表格、图表和语音笔记。如今，大多数智能体系统都通过独立的视觉、语音和语言模型来完成这些任务。

这种方法会因为重复推理而增加延迟，导致不同模态之间的上下文碎片化，并随时间推移增加成本和误差性。

通过在其 30B-A3B 的混合专家模型 (MoE) 架构中结合视觉和音频编码器，Nemotron 3 Nano Omni 无需独立的感知模型，从而大规模提高推理效率。它将这种效率与强大的多模态感知准确性相结合，使 AI 系统在保持相同交互性能的情况下，实现比其他开放式全模态模型高 9 倍的吞吐量。因此，其能够在不牺牲响应速度或质量的前提下降低成本并提高可扩展性。

在智能体系统中，Nemotron 3 Nano Omni 可以与专有云模型或其他 NVIDIA Nemotron 开放模型，例如用于高频执行的 Nemotron 3 Super 或用于复杂规划的 Nemotron 3 Ultra，同时也可结合其他供应商的专有模型协同工作，来支持计算机操作、文档智能和音频-视频推理等智能体工作流中的子智能体。

• 计算机操作智能体 —— Nemotron 3 Nano Omni 为智能体提供感知回路，帮助其在图形用户界面导航、对屏幕内容进行推理，并理解随时间变化的用户界面状态。H Company 最新推出的由 Nemotron 3 Nano Omni 驱动的计算机操作智能体，采用 1920x1080 像素的原生输入分辨率，以实现高保真视觉推理。在对 OSWorld 基准测试的初步评估中，这种集成在导航复杂图形界面上实现了重大飞跃，并利用了 Nemotron 3 Nano Omni 处理超高分辨率图像的能力。

• 文档智能 —— 解析文档、图表、表格、屏幕截图和混合媒体输入，使智能体能够连贯地推理视觉结构和文本内容。这对企业分析和合规性工作流至关重要。

• 音频和视频理解 —— 针对客户服务、研究和监测工作流，Nemotron 3 Nano Omni 能够保持音频-视频上下文，将所说、所显示和所记录的内容绑定到单个推理流中，而非毫无关联的摘要。

开放且可定制，随处可部署

Nemotron 3 Nano Omni 发布时附带开放权重、数据集和训练技术，赋予组织对模型定制和部署方式的完全透明度与控制力。

开发者可以使用诸如 NVIDIA NeMo 等工具来定制、评估和优化特定领域的用例。由于 Nemotron 系列模型是开放的，组织可以将其部署在符合监管、主权或数据本地化要求的环境中。

过去一年中，Nemotron 3 系列 —— 包括 Nano、Super 和 Ultra 模型 —— 下载量已超 5,000 万次。Omni 将该系列的能力扩展到多模态和智能体领域。

该模型已在 Hugging Face、OpenRouter 和 NVIDIA 官网以 NVIDIA NIM 的形式上线，并通过广泛的 NVIDIA 云合作伙伴、推理平台和云服务提供商生态系统提供支持。

其开放、轻量级的架构可支持从 NVIDIA Jetson 硬件、NVIDIA DGX Spark 等本地系统到数据中心和云环境的一致性部署。