Think in Games: Learning to Reason in Games via Reinforcement Learning with Large Language Models

Think in Games：文章总结与核心翻译

一、文章主要内容总结

本文聚焦大型语言模型（LLMs）在交互式任务中“知而不能行”的核心矛盾——即擅长数学、编码等复杂推理（陈述性知识），却难以完成儿童通过玩耍就能掌握的简单游戏交互任务（程序性知识），而传统强化学习（RL）智能体虽能通过环境交互获取程序性知识，却存在“黑箱操作”、需大量训练数据的问题。

为解决这一矛盾，作者提出Think-In Games（TiG）框架，将RL决策制定重构为语言建模任务：让LLMs生成语言引导的策略，再通过基于游戏环境反馈的在线强化学习迭代优化策略。该框架以多人在线战术竞技游戏（MOBA）《王者荣耀》为实验场景，通过多阶段训练（监督微调SFT+Group Relative Policy Optimization，GRPO强化学习），在保证LLMs推理与解释能力的同时，使其获得游戏环境中的程序性理解。

实验结果显示，TiG成功弥合陈述性知识与程序性知识的鸿沟：相比传统RL方法，在数据和计算需求大幅降低的情况下，仍实现了具有竞争力的性能（如Qwen-3-14B经SFT+2000步GRPO训练后，动作预测准确率达90.91%，超过参数规模大得多的Deepseek-R1）；同时，TiG能为决策提供逐步骤自然语言解释，提升了复杂交互任务中决策的透明度与可解释性。此外，实验还验证了TiG在通用语言理解与推理能力上的保留性（如在BBH逻辑推理基准上表现提升），并通过错误分析与案例研究，进一步证明其在游戏场景中深度语境推理与实用指导生成的有效性。

二、文章创新点<