确保大型语言模型（LLM）安全 NVIDIA NeMo Guardrails推动AI安全

以ChatGPT为代表的生成式AI应用持续爆发，其流畅的文本对话不光可以用于对话场景，甚至编写软件和加速药物研发。作为这些AI应用背后的强大引擎，大型语言模型（LLM）正在被越来越多的行业所采用。

虽然LLM的表现令人印象深刻，但是如何确保回答的内容可信可靠也是业界讨论的焦点。近日，NVIDIA将其多年研究成果——NeMo Guardrails开源，专为帮助用户保证新型AI赋能的应用的安全性而开发。

NeMo Guardrails确保大型语言模型（LLM）驱动的智能应用准确、恰当、符合主题且安全。该软件包含了企业为提高可以生成文本的AI应用程序的安全性所需的所有代码、示例和文档。

构建三种边界，确保LLM安全

生成式AI的安全性是人们普遍关心的问题。NVIDIA设计NeMo Guardrails是为了让它适用于所有LLM，例如OpenAI的ChatGPT。

该软件可以让开发者调整LLM驱动的应用，以确保模型的安全性并在公司的专业领域内。

NeMo Guardrails使开发者能够构建三种边界：

• 主题护栏防止应用偏离进非目标领域，例如防止客服助理回答关于天气的问题。
• 功能安全护栏确保应用能够以准确、恰当的信息作出回复。它们能过滤掉不希望使用的语言，并强制要求模型只引用可靠的来源。
• 信息安全护栏限制应用只与已确认安全的外部第三方应用建立连接。

几乎每个软件开发人员都可以使用NeMo Guardrails，他们不需要成为机器学习专家或数据科学家，只需几行代码就可以快速创建新的规则。

开源，并易于集成

NVIDIA NeMo框架的大部分内容已在GitHub上作为开放源码提供。而且NVIDIA正在将NeMo Guardrails整合到NVIDIA NeMo框架中，该框架包含用户使用公司的专有数据来训练和调整语言模型所需的一切。

由于NeMo Guardrails是开源的，因此它可以与企业应用开发人员使用的所有工具搭配使用。例如，它可以在LangChain上运行。LangChain是一个开源工具包，越来越多的开发者用它来将第三方应用嵌入到LLM中。

LangChain工具包的创建者Harrison Chase表示：“用户可以轻松地将NeMo Guardrails添加到LangChain工作流程中，以快速为其AI应用设置安全边界。”

此外，NeMo Guardrails专为适用于广泛的基于LLM的应用而设计，例如Zapier。Zapier是一个被超过200万家企业使用的自动化平台，它见证了用户如何将AI集成到他们的工作中。

Zapier的AI首席产品经理Reid Robinson表示：“功能安全，信息安全和信任是负责任的AI开发的基石，我们对NVIDIA主动将这些护栏嵌入AI智能系统感到兴奋。我们期待着让AI成为未来可靠并值得信赖的一部分所带来的益处。”

其实，NeMo作为NVIDIA AI Enterprise软件平台的一部分，还可以以完整的支持包的形式提供给企业。

NeMo还可作为一项服务使用。作为NVIDIA AI Foundations的一部分，这套云服务面向希望基于自己的数据集和领域知识创建、运行自定义生成式AI模型的企业。

通过使用NeMo，韩国领先的移动运营商构建了一个智能助手，该助手目前已经与客户进行了800万次对话；瑞典的一个研究团队使用NeMo创建了LLM，为该国医院、政府和商业机构自动生成文本。

结语

确保生成式AI的安全是重中之重，NeMo Guardrails是NVIDIA的一种有益探索，帮助企业确保他们的智能服务满足功能安全、隐私和信息安全的要求，推动AI安全工作。