2025_NIPS_Large Language Models Think Too Fast To Explore Effectively

一、文章主要内容总结

该研究聚焦大型语言模型（LLMs）在开放式任务中的探索能力，以游戏《Little Alchemy 2》为实验范式（通过组合元素发现新元素，共720种目标元素），对比人类与5款LLMs（GPT-4o、o1、LLaMA3.1-8B/70B、DeepSeek-R1）的表现，核心结论与发现如下：

1. 性能差异：多数LLMs（GPT-4o、LLaMA3.1系列）探索表现不及人类（人类500次试验平均发现42种元素），仅o1（177种）和DeepSeek-R1（85种）显著超越人类；模型规模与推理能力对探索效果影响显著，推理型模型表现更优。
2. 策略差异：人类平衡“不确定性驱动探索”（优先尝试少用元素）与“赋能探索”（选择未来组合潜力大的元素），而传统LLMs过度依赖不确定性驱动策略，几乎不运用赋能策略；仅o1能有效平衡两种策略。
3. 推理过程差异：传统LLMs（如GPT-4o）推理速度快、过程简略，令牌使用少；推理型模型（如DeepSeek-R1）推理过程更长、迭代性强，会分析历史试验与组合逻辑，更接近人类思维。
4. 机制层面：通过稀疏自编码器（SAE）分析发现，LLMs在 transformer 早期层处理不确定性和选择，而赋能值在后期层才被处理，导致“思考过快”和过早决策，阻碍有效探索；干预实验表明， ablation 赋能相关神经元会抑制赋能策略， ablation 不确定性相关神经元则导致性能崩溃。
5. 优化尝试：调整采样温度（提高温度可适度提