Nvidia发布生成式AI微服务 可利用企业数据提供准确答案

Nvidia今天宣布推出了一项新的生成式AI微服务，旨在允许企业将自定义聊天机器人、copilot和AI摘要工具连接到实时专有的企业数据以提供更准确的结果。

这项名为NeMo Retriever的新服务是Nvidia NeMo云原生框架和工具系列中的一部分，用于构建、定制和部署生成式AI模型，旨在让企业组织能够把检索增强生成功能构建到他们的生成式AI应用中。

检索增强生成（RAG）是一种通过利用从外部来源检索的事实和数据填补大型语言模型“知识”空白以提高生成式AI模型准确性和安全性的方法。一个大型语言模型接受前期训练，为其提供大量一般任务知识和能力，例如理解对话提示、总结和提供问答能力。训练既昂贵又耗时，因此通常只进行一次或者很少进行训练，以为部署模型做准备。

然而，一旦部署，模型本身将缺乏实时信息和最新的特定领域专业知识，这可能会导致不准确和所谓的“幻觉”——也就是大型语言模型会自信但错误地回答问题。

使用NeMo Retriever，就可以把多种来源（包括数据库、HTML、PDF、图像、视频和其他方式）的最新数据输入大型语言模型，这意味着模型将拥有由企业客户自己专有来源提供的、更全面的事实集，这些事实可以在数据可用时进行更新。数据可以驻留在任何地方，包括云、数据中心或本地环境中，并且可以安全地访问这些数据。

Nvidia公司超大规模和高性能计算副总裁Ian Buck表示：“这是整个企业聊天机器人领域的圣杯，因为绝大多数有用数据都是专有数据，不是嵌入这些模型中的公开可用数据，而是公司内部可用的数据。因此，将AI和客户数据库相结合，可以使其更高效、更准确、更有用，并让客户能够优化模型的功能。”

通过添加专有数据可以减少不准确的答案，因为大型语言模型可以利用更好的上下文信息来产生结果，从而提高准确性。与研究论文如何提供信息来源的引用类似，Retriever的RAG功能会根据企业内部特定领域知识提供额外的专家信息来源，以便更好地为大型语言模型提供信息，使其能够根据问题提供更好的、更准确的答案。

Nvidia表示，与社区主导的开源RAG工具包不同，Retriever旨在支持商业型和生产就绪的生成式AI模型，这些模型已经可用并针对RAG功能、企业支持和托管安全补丁进行了优化。

目前，电子系统设计公司Cadence Design Systems、Dropbox、SAP和ServiceNow等企业客户已经在和Nvidia合作，利用新功能将RAG引入他们定制的生成式AI工具、应用和服务中。

Cadence公司总裁、首席执行官Anirudh Devgan表示，该公司的研究人员正在与Nvidia展开合作，利用Retriever通过提高准确性来帮助生产出更高质量的电子产品。Devgan表示：“生成式AI引入了创新方法来满足客户需求，例如在设计过程早期发现潜在缺陷的工具。

Buck表示，通过使用Retriever，客户可以用更少的时间训练生成式AI模型，以获得更准确的结果，这意味着企业客户可以采用更多现成的模型，简单地部署模型并使用他们自己的内部数据，而无需花费大量的时间、费用和精力来持续训练模型以使保持模型的最新状态。

NeMo Retriever将添加上述RAG功能，作为Nvidia AI Enterprise端到端云原生软件平台的一个组成部分，该平台主要用于简化AI应用的开发。从今天开始，开发者就可以注册抢先体验NeMo Retriever。