2025_NIPS_Language Models can Self-Improve at State-Value Estimation for Better Search

文章核心总结

该研究提出Self-Taught Lookahead（STL），一种无奖励、无人类演示的自监督框架，通过显式推理状态转移来优化语言模型（LLM）的状态值估计，进而提升多步推理任务的搜索效率。STL无需标注数据，仅利用环境状态转移动态生成训练数据，使中小型开源LLM在网页代理、多跳问答、数学谜题等任务中达到专有模型性能，同时降低计算成本和环境消耗。

核心创新点

1. 无监督自改进机制：无需 ground-truth 奖励或人类演示，通过生成“下一步最佳动作+结果状态+价值推理”的自然语言训练数据，让价值模型自学习状态转移规律。
2. 自然语言化前瞻推理：借鉴价值迭代算法思路，将前瞻过程用自然语言表示（而非单纯数值回归），充分发挥LLM的文本推理与泛化能力。
3. 高效低成本部署：基于8B参数开源LLM（如llama-3.1-8b-instruct）训练，网页代理任务成功率提升超39%，成本仅为GPT-4o的1/5，且搜索时扩展状态更少。
4. 跨任务通用性：在网页购物、多跳问答（HotpotQA）、24点数学谜题等不同类型任务中均表现优异，适配多种搜索算法（贪心搜索、BFS等）。

---

翻译部分（Markdown格式）

Abstract

收集多步推理任务的真