WHEN DEBATE FAILS: BIAS REINFORCEMENT IN LARGE LANGUAGE MODELS

文章主要内容总结

本文研究了大型语言模型（LLMs）在战略决策任务中存在的偏见强化问题，指出传统自我修正方法（如自我一致性和自我精炼）及多智能体辩论（MAD）的局限性。作者提出以下核心观点：

1. 偏见强化现象：LLMs在辩论中倾向于放大固有偏见而非纠正错误，导致次优决策。
2. 视角单一性：现有MAD框架依赖同一模型的多个实例，缺乏真正的视角多样性。
3. MetaNIM Arena基准：设计了一个基于组合博弈论的严格评估环境，用于量化LLMs的战略推理能力。
4. DReaMAD框架：通过结构化提示优化和视角多样化，显著提升决策准确性和减少偏见，在NIM、Fibonacci等博弈任务中取得显著效果。

创新点

1. 首次揭示MAD的偏见强化机制：
   通过实验证明，MAD会系统性放大模型的固有偏见（包括正确和错误偏见），而非促进理性辩论。

2. 提出MetaNIM Arena基准：
   构建了一个基于组合博弈论的评估框架，提供数学严格的最优策略基准，解决了动态对抗环境下的战略推理评估难题。

3. DReaMAD框架：

   • 战略先验知识提炼：通过结构化提示引导模型提取领域知识，避免早期错误