Causal-aware Large Language Models: Enhancing Decision-Making Through Learning, Adapting and Acting

论文主要内容总结

研究背景与问题

大语言模型（LLMs）在决策领域展现出巨大潜力，但预训练模型存在推理能力不足、难以适应新环境的问题，严重制约了其在复杂现实任务中的应用。现有方法如强化学习（RL）单独使用或LLM辅助RL的方式，仍依赖token预测范式，缺乏结构化推理和快速适应性。

核心框架与方法

提出因果感知大语言模型（Causal-aware LLMs），将结构因果模型（SCM）整合到决策过程中，采用“学习-适应-行动”的迭代范式：

1. 学习阶段：利用LLM从环境中提取因果实体及关系，初始化环境的结构化因果模型。
2. 适应阶段：通过因果干预技术，基于环境反馈更新因果模型，修正LLM可能产生的幻觉信息。
3. 行动阶段：结合更新后的因果知识，通过RL代理实现更高效的决策制定，指导策略学习。

实验验证

在开放世界游戏《Crafter》的22个任务中进行实验，结果表明：

• 相比传统RL方法（如PPO、DreamerV3）和LLM辅助方法（如AdaRefiner），该框架在成功率和总体得分上显著提升。</