Debating Truth: Debate-driven Claim Verification with Multiple Large Language Model Agents

文章主要内容总结

本文针对复杂声明的事实核查问题，提出了一种基于多智能体辩论的框架DebateCV。该框架受现实世界事实核查实践（如PolitiFact的“星室会议”）启发，通过两个持对立立场的辩论者（支持与反驳声明）进行多轮论证，由仲裁者评估论证并最终给出带依据的裁决。

为解决真实辩论驱动的事实核查数据稀缺问题，研究提出了一种基于合成数据的后训练策略：利用零样本DebateCV生成合成辩论数据，引入“校正者”修正仲裁者的错误裁决及依据，再通过辩论驱动的监督微调（D-SFT）和直接偏好优化（D-DPO）对仲裁者进行训练。

实验结果显示，在不同证据质量（黄金证据、检索证据、无证据）下，DebateCV的性能均优于现有方法，准确率分别提升3.0%（黄金证据）和1.8%（检索证据），验证了其在复杂事实核查中的有效性。

创新点

1. 提出首个辩论驱动的事实核查框架DebateCV：通过多LLM智能体（两个辩论者+一个仲裁者）的对抗性辩论，从对立角度分析证据，提升复杂声明核查的深度和严谨性。
2. 基于合成数据的后训练策略：利用零样本DebateCV生成合成辩论数据，结合“校正者”修正错误，通过D-SFT和D-DPO优化仲裁者，解决真实辩论数据稀缺问题。
3. 在多证据质量场景下的优势：实验证明，相比现有单LLM或多智能体方法，DebateCV在黄金证据、检索证据（含噪声）等场景下均表现更优，且能有效减少仲裁者的“从众偏差”（过度倾向中立裁决）。