Nvidia近日宣布将开源NeMo Gardrails,为开发人员提供一个框架,以确保生成的AI聊天机器人对用户是准确且安全的。
当前,众多行业正在越来越快地采用这些由大型语言模型提供支持的AI聊天机器人,这些强大的AI引擎有很多用途,例如回答客户的问题、生成软件代码、生成艺术品等等。
即使这些聊天机器人已经变得越来越强大,但同时也存在一些缺陷。一些更受欢迎的大型语言模型,例如OpenAI的ChatGPT,它和微软的Bing AI聊天机器人都是运行在相同的模型之上,众所周知ChatGPT会产生一种“幻觉”,也就是AI会自信地陈述一些完全虚假信息。有些聊天机器人也可能会变得不稳定,根据向它们提出的查询产生不需要的响应内容,在其他情况下,恶意用户也试图使用AI来生成恶意软件。
Nvidia公司应用研究副总裁Jonathan Cohen表示:“生成式AI的安全性是全行业普遍关注的问题。NeMo Guardrails旨在帮助用户保护这类新型AI应用的安全。”
NeMo Guardrails为开发人员提供了一个简单的解决方案,为AI聊天机器人设置边界,可以控制用户和聊天机器人之间的对话,包括主题、安全和保障,这个护栏会通过监控对话并应用开发人员设置的简单英语规则,来确保机器人的响应是适当的。开发人员无需了解高级编码即可设置规则,这些规则可以是用自然语言编写的,Guardrails解释器可以理解这些规则,并将其应用于聊天机器人和用户之间的交互中。
主题护栏是让用户和聊天机器人的对话保持在主题上,并保持任何给定对话的基调。例如,它可以确保客户服务机器人保持客户服务模式,例如牙医的办公室机器人将只对提供的服务说话,而不会回答诸如接待员赚了多少钱或者是参与那些可能背离了初衷的对话中。
安全护栏则是对聊天机器人强制执行准确和适当的信息,使用它自己知识库中的事实核查资源,并确保机器人声明它不知道而不是产生虚假信息来减少幻觉。它还通过监控用户的提示和机器人回复,来防止不受欢迎的语言和有害行为,从而保持聊天机器人的专业性。
当用户试图绕过防止AI被用来制作危险内容的安全功能时,安全护栏有助于防止所谓的“越狱”。这些护栏还会限制AI做任何它不应该做的事情,并且只能与已知安全的第三方应用进行连接。
如今已经开源的NeMo Guardrails旨在与众多不同的企业AI工具配合使用,例如开源工具包LangChain,可以让开发人员更轻松地将其应用接入到大型语言模型中,此外还适用于许多支持AI的应用,例如自动化平台Zapier。
Zapier AI首席产品经理Reid Robinson表示:“安全、保障和信任是负责任AI开发的基石,我们期待着让AI成为未来可靠和值得信赖的一部分,以及这能够带来的各种好处。”
Guardrails正在被纳入Nvidia NeMo框架中,该框架允许开发人员使用他们自己公司专有的数据构建、定制和部署他们自己的生成式AI模型。大多数NeMo框架已经在GitHub上以开源形式提供,NeMo作为Nvidia AI Foundation的一部分为企业客户提供服务。
Cohen说,NeMo Guardrails是Nvidia人工智能团队多年研究的产物。他解释说,开发人员的初步反馈是积极的,并且随着开源版本的发布,团队希望更多人采用该框架来构建更安全、更可靠的模型。
Cohen说:“我们的目标是让大型语言模型的生态系统以安全、有效和有用的方式发展。如果你对他们可能会说的话感到害怕,那么就很难去使用它们,护栏系统解决了这个问题。”
好文章,需要你的鼓励
随着大语言模型在人工智能时代展现强大力量,可穿戴设备成为收集人体数据的重要载体。通过实时监测血压、心率、血糖等生命体征,结合AI边缘计算能力,医疗正向个性化转型。基因治疗、数字孪生技术让每个人都能拥有专属的医疗数字化身,实现从"报销型医疗"向"创新循证医疗"的转变,为疾病预防和健康管理带来革命性突破。
华中科技大学研究团队发现,通过让AI模型学习解决几何问题,能够显著提升其空间理解能力。他们构建了包含约30000个几何题目的Euclid30K数据集,使用强化学习方法训练多个AI模型。实验结果显示,几何训练在四个空间智能测试基准上都带来显著提升,其中最佳模型达到49.6%准确率,超越此前最好成绩。这项研究揭示了基础几何知识对培养AI空间智能的重要价值。
在巴黎举办的欧洲开放基础设施峰会期间,专门用一整天时间讨论VMware迁移问题。博通收购VMware后许可证价格上涨,导致客户运营成本大幅增加。开源开发者展示了将VMware虚拟机迁移到开源替代方案的产品。Forrester分析师指出VMware客户对此感到信任破裂。OpenStack等开源解决方案虽然复杂度较高,但提供了健康的开源生态系统替代方案。
中国人民大学研究团队开发了Tool-Light框架,通过信息熵理论解决AI工具使用中的过度调用、调用不足和过度思考问题。该框架采用熵引导采样和两阶段自演化训练,让AI学会合理使用外部工具。在10个推理任务测试中,Tool-Light显著提升了AI的效率和准确性,为AI工具集成推理提供了新的解决方案。