文章主要内容总结
本文聚焦大语言模型(LLMs)是否具备“规划心智理论”(Planning Theory of Mind, PToM),即通过推断他人信念和需求来动态规划行动、干预其心智状态以达成目标的能力。研究团队设计了名为MINDGAMES的多轮说服任务,要求参与者(人类或LLM)通过选择性披露信息,说服目标 agent 选择自己偏好的方案。
实验设置了两种条件:
- REVEALED 条件:参与者已知目标的偏好和信息状态,仅需预测信息披露的效果;
- HIDDEN 条件:参与者需通过互动对话推断目标的偏好和信息状态,进行多步骤反事实规划。
结果显示:
- 人类在 HIDDEN 条件下的成功率(29%)显著高于 o1-preview 等LLM(18%),且显著高于随机基线(10%);
- LLM(如 o1-preview)在 REVEALED 条件下表现优于人类(78% vs 22%),但在需要主动推断心智状态的 HIDDEN 条件下表现较差;
- 进一步分析发现,人类更倾向于主动询问目标的偏好和信息(约40%的次数),而LLM较少进行此类心智状态诉求(最高23%),这是两者表现差异的关键原因。
创新点
- 提出 PToM 概念与 MINDGAMES 任务框架:区别于传统“被动观察式”心智理论(ToM)评估,PToM 强调主动干预他人心智状态的规划
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



