英伟达的 AI 如何比人类更擅长训练机器人

AI 智能体训练机器人，GPT-4 赋能精细动作控制

本文介绍了由开发出 Minecraft AI“航海家”的团队发布的最新研究成果，该研究证明了 AI 智能体可以胜任超越“玩具示例”的任务。文章首先解释了 AI 智能体的概念，并指出其通常包含多个 AI 组件，如语言模型、代码生成器和组织模块等，通过相互协作完成复杂任务。

研究团队将这种机制应用于机器人训练，成功让 AI 智能体完成对传统强化学习模型来说过于复杂的任务，例如在 Minecraft 中获得钻石工具或建造房屋。更重要的是，他们将该方法扩展到训练机器人精细动作技能，例如旋转笔，突破了此前机器人精细动作控制的瓶颈。

此前，由于机器人需要进行大量复杂的小动作，而手动设计奖励函数来评估动作的准确性几乎不可能，因此机器人难以完成像人类一样自然流畅的动作。但 GPT-4 的出现改变了这一现状。研究团队利用 GPT-4 的能力，通过将环境代码和任务描述作为零样本输入，生成一系列奖励函数，并通过迭代的奖励采样、评价和反思不断优化奖励函数，最终实现了对精细动作的有效控制。

该研究表明，AI 智能体能够在奖励函数设计方面达到甚至超越人类水平，并实现了 83% 的成功率。未来，将 GPT-4 的视觉能力与 AI 智能体结合，将进一步提高机器人精细动作控制水平。

英伟达的Eureka使用基于GPT-4的AI代理来编写奖励函数，并训练机器人胜过人类？！这种AI代理的应用是首创。我也在重新尝试AI时间线系列，但这次每集只专注于一项研究，并且时长更短！请在评论区告诉我你的想法。[论文] https://arxiv.org/abs/2310.12931[项目页面] https://eureka-research.github.io/[代码] https://github.com/eureka-research/Eureka