AI 通过观看 YouTube 学习玩我的世界！

OpenAI 最新研究：AI 征服 Minecraft，开启游戏 AI 新纪元

OpenAI 再次在游戏 AI 领域取得突破性进展，继开发出能够互相玩捉迷藏的 AI 之后，现在又发布了能够在 Minecraft 中生存并制作钻石镐的 AI。

这项研究令人印象深刻，因为它超越了近年来一直致力于让 AI 在 Minecraft 中找到并开采钻石的 Mine RL 比赛。尽管参赛者们创造了许多尝试寻找钻石的 AI，但没有一个能成功获得铁制工具或更进一步。OpenAI 的 Minecraft AI 则不同，它有 2.5% 的概率不仅能找到钻石，还能制作需要多个钻石矿石的钻石工具。更重要的是，每次生存运行都在随机生成的 Minecraft 地图上进行，这增加了 AI 面临的难度，同时也更接近我们真实玩 Minecraft 的体验。

OpenAI 的突破不仅仅在于 Minecraft AI 本身，更在于其训练 AI 的方法。他们提出了视频预训练 (VPT) 的方法，通过观看未标注的在线视频来学习行动。利用少量准确标注的数据，包括鼠标坐标、屏幕内容和键盘按键与 Minecraft 行动的对应关系，他们训练了一个 AI，能够准确地标注任何与 Minecraft 相关的 YouTube 视频，标注准确率高达 90%。通过使用名为 IDM（逆动力学模型）的 AI 对 YouTube 上的 Minecraft 视频进行标注，他们获得了 70,000 小时的游戏数据。利用这些海量标注数据，OpenAI 训练了另一个模型，该模型仅根据过去的帧预测行动，被称为 VPT 基础模型。简单来说，这个模型本质上是一个行为克隆 AI，模仿人类玩家在游戏世界中的行为。

这项研究表明，通过利用大量未标注数据和少量准确标注数据，我们可以训练 AI 在复杂的游戏环境中学习和执行任务。这为游戏 AI 的发展开辟了新的可能性，也预示着未来游戏体验将更加智能化和个性化。