Nvidia近日宣布将开源NeMo Gardrails,为开发人员提供一个框架,以确保生成的AI聊天机器人对用户是准确且安全的。
当前,众多行业正在越来越快地采用这些由大型语言模型提供支持的AI聊天机器人,这些强大的AI引擎有很多用途,例如回答客户的问题、生成软件代码、生成艺术品等等。
即使这些聊天机器人已经变得越来越强大,但同时也存在一些缺陷。一些更受欢迎的大型语言模型,例如OpenAI的ChatGPT,它和微软的Bing AI聊天机器人都是运行在相同的模型之上,众所周知ChatGPT会产生一种“幻觉”,也就是AI会自信地陈述一些完全虚假信息。有些聊天机器人也可能会变得不稳定,根据向它们提出的查询产生不需要的响应内容,在其他情况下,恶意用户也试图使用AI来生成恶意软件。
Nvidia公司应用研究副总裁Jonathan Cohen表示:“生成式AI的安全性是全行业普遍关注的问题。NeMo Guardrails旨在帮助用户保护这类新型AI应用的安全。”
NeMo Guardrails为开发人员提供了一个简单的解决方案,为AI聊天机器人设置边界,可以控制用户和聊天机器人之间的对话,包括主题、安全和保障,这个护栏会通过监控对话并应用开发人员设置的简单英语规则,来确保机器人的响应是适当的。开发人员无需了解高级编码即可设置规则,这些规则可以是用自然语言编写的,Guardrails解释器可以理解这些规则,并将其应用于聊天机器人和用户之间的交互中。
主题护栏是让用户和聊天机器人的对话保持在主题上,并保持任何给定对话的基调。例如,它可以确保客户服务机器人保持客户服务模式,例如牙医的办公室机器人将只对提供的服务说话,而不会回答诸如接待员赚了多少钱或者是参与那些可能背离了初衷的对话中。
安全护栏则是对聊天机器人强制执行准确和适当的信息,使用它自己知识库中的事实核查资源,并确保机器人声明它不知道而不是产生虚假信息来减少幻觉。它还通过监控用户的提示和机器人回复,来防止不受欢迎的语言和有害行为,从而保持聊天机器人的专业性。
当用户试图绕过防止AI被用来制作危险内容的安全功能时,安全护栏有助于防止所谓的“越狱”。这些护栏还会限制AI做任何它不应该做的事情,并且只能与已知安全的第三方应用进行连接。
如今已经开源的NeMo Guardrails旨在与众多不同的企业AI工具配合使用,例如开源工具包LangChain,可以让开发人员更轻松地将其应用接入到大型语言模型中,此外还适用于许多支持AI的应用,例如自动化平台Zapier。
Zapier AI首席产品经理Reid Robinson表示:“安全、保障和信任是负责任AI开发的基石,我们期待着让AI成为未来可靠和值得信赖的一部分,以及这能够带来的各种好处。”
Guardrails正在被纳入Nvidia NeMo框架中,该框架允许开发人员使用他们自己公司专有的数据构建、定制和部署他们自己的生成式AI模型。大多数NeMo框架已经在GitHub上以开源形式提供,NeMo作为Nvidia AI Foundation的一部分为企业客户提供服务。
Cohen说,NeMo Guardrails是Nvidia人工智能团队多年研究的产物。他解释说,开发人员的初步反馈是积极的,并且随着开源版本的发布,团队希望更多人采用该框架来构建更安全、更可靠的模型。
Cohen说:“我们的目标是让大型语言模型的生态系统以安全、有效和有用的方式发展。如果你对他们可能会说的话感到害怕,那么就很难去使用它们,护栏系统解决了这个问题。”
好文章,需要你的鼓励
开放闪存平台(OFP)旨在用直接访问的闪存盒替代全闪存阵列,每个闪存盒配备控制器DPU、Linux系统和并行NFS软件。该倡议由Hammerspace主导,针对新云、超大规模和AI公司在数据中心设计演进中面临的基础设施限制。OFP通过结合IPU/DPU技术、闪存优化机箱和Linux协议,提供高密度、低功耗的存储解决方案,满足AI应用从PB级向EB级数据容量需求的扩展。
MBZUAI研究团队发布了史上最大的开源数学训练数据集MegaMath,包含3716亿个Token,是现有开源数学数据集的数十倍。该数据集通过创新的数据处理技术,从网页、代码库和AI合成等多个来源收集高质量数学内容。实验显示,使用MegaMath训练的AI模型在数学推理任务上性能显著提升,为AI数学能力发展提供了强大支撑。
ERP系统市场近年来相对稳定,但AI正在改变一切。供应商们正竞相在产品组合中嵌入AI功能,构建包括可组合应用、集中数据存储和可扩展云平台的生态系统。Oracle凭借AI投资超越SAP成为ERP收入领导者,而AI代理已从实验阶段进入实际应用,能够管理整个工作流程并进行自动化决策。本文盘点了Oracle、SAP、微软等十大最具影响力的ERP厂商及其AI战略。
这项由多个知名机构联合开展的研究揭示了AI系统的"隐形思维"——潜在推理。不同于传统的链式思维推理,潜在推理在AI内部连续空间中进行,不受语言表达限制,信息处理能力提升约2700倍。研究将其分为垂直递归和水平递归两类,前者通过重复处理增加思考深度,后者通过状态演化扩展记忆容量。