Unlocking the Future: Exploring Look-Ahead Planning Mechanistic Interpretability in LLM

本文是LLM系列文章，针对《Unlocking the Future: Exploring Look-Ahead Planning Mechanistic Interpretability in Large Language Models》得翻译。

摘要

规划作为智能体的核心模块，在具身智能体、网页导航、工具使用等各个领域都至关重要。随着大型语言模型 （LLM） 的发展，一些研究人员将大型语言模型视为智能代理，以刺激和评估其规划能力。然而，规划机制仍不清楚。在这项工作中，我们专注于从信息流和内部表示的角度探索大型语言模型中的前瞻性规划机制。首先，我们通过分析最后一个标记处的多层感知 （MLP） 和多头自我注意 （MHSA） 组件来研究如何在内部进行规划。我们发现，在最后一个 token 的中间层 MHSA 的输出可以在一定程度上直接解码决策。基于这一发现，我们进一步通过信息流追踪了 MHSA 的来源，并揭示了 MHSA 主要从目标状态和近期步骤的跨度中提取信息。根据信息流，我们继续研究其中编码了哪些信息。具体来说，我们探讨了未来的决策是否已经提前编码在流的表示中。我们证明，当规划成功时，中层和上层在某种程度上编码了一些短期的未来决策。总体而言，我们的研究分析了 LLM 的前瞻性规划机制，促进了未来对 LLM 执行规划任务的研究。

1 引言

2 实验设置

3 背景

4 分析概述

5 规划任务中的信息流