Nvidia近日详细介绍了Eureka,一种可以自动训练机器人执行新任务的AI系统。
在一次内部评估中,Nvidia使用Eureka教10个模拟机器人29种不同的动作。工程师通常会在构建机器之前创建机器模拟版本以支持开发工作Eureka教Nvidia的虚拟机器人打开抽屉、表演转笔技巧以及执行其他相对复杂的任务。
很多机器人都是由强化学习模型的神经网络提供动力的。强化学习模型通过反复试验来学习执行任务:它们在模拟环境中多次重复该任务,直到弄清楚如何正确执行该任务。模拟学习环境中,包括一个充当神经网络测试台的虚拟机器人。
在此类项目中,AI训练过程由是一段称为奖励函数的代码进行监督的。当机器人的强化学习模型在学习过程中得出正确的结论时,该函数会“奖励”它,并在错误时对其进行惩罚,通过这种方式,强化学习模型将被引导找到操作机器人的正确方法。
为强化学习模型编写奖励函数历来是一项耗时且技术含量高的任务。据Nvidia称,这次推出的Eureka系统可以实现这个过程的自动化,系统会根据自然语言指令生成奖励函数,例如“教机械臂下棋”等。
Eureka在幕后使用OpenAI GPT-4将用户提示转化为奖励函数。除了提示本身之外,系统还接受所谓的环境代码作为输入,这是一种描述模拟机器人通过训练以执行新任务的代码。
据Nvidia称,Eureka 不仅会生成奖励函数,还会随着时间的推移对其进行不断改进。该系统创建了多个版本的奖励函数,并通过将其应用到模拟机器人来评估工作效果,然后会分析评估结果以找出改进的机会。
Eureka系统还可以在此过程中考虑开发人员的反馈,特别是允许工程师就如何增强机器人的奖励功能提供建议,这些建议已经纳入到代码优化过程中。
Nvidia表示,在测试的80%多的机器人动作中,Eureka奖励函数的表现优于人类编写的代码。结果,作为该项目一部分开发的10个模拟机器人更有效地执行了分配的任务,Nvidia的研究人员记录到机器人性能提高了52%。
参与Eureka开发的Nvidia人工智能研究高级总监Anima Anandkumar表示:“强化学习在过去十年中取得了令人印象深刻的胜利,但仍然存在许多挑战,例如奖励设计,这仍然是一个试错的过程。Eureka是开发新算法的第一步,这种算法集成了生成式学习和强化学习方法来解决那些困难的任务。”
Nvidia已经在GitHub上发布了Eureka的关键组件以及描述其工作原理的学术论文。工程师可以使用Nvidia的Isaac Gym程序运行该软件,该软件是一种专门为支持AI驱动型机器人开发而设计的模拟工具。
好文章,需要你的鼓励
从浙江安吉的桌椅,到广东佛山的沙发床垫、河南洛阳的钢制家具,再到福建福州的竹藤制品,中国各大高度专业化的家具产业带,都在不约而同地探索各自的数字化出海路径。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。