2025_NIPS_Multi-Agent Debate for LLM Judges with Adaptive Stability Detection

文章核心总结与创新点

主要内容

本文针对大语言模型（LLMs）作为自动评估工具时的局限性，提出了一种多智能体辩论框架（Multi-Agent Debate Framework）。该框架让多个LLM通过结构化辩论协作推理、迭代优化判断结果，解决了传统静态聚合方法（如多数投票）在复杂场景下可能出现的偏差问题。同时，为平衡计算效率，引入基于时变Beta-二项混合模型和柯尔莫哥洛夫-斯米尔诺夫（KS）检验的自适应稳定性检测机制，在保证判断准确性的前提下自适应终止辩论。通过在多个文本及多模态基准数据集上的实验，验证了该框架相较于多数投票在准确性上的显著提升，且自适应机制有效降低了计算成本。

创新点

1. 提出了具有理论可证明正确性保障的LLM集成辩论框架，通过多智能体协作推理实现判断的迭代优化，突破了静态聚合方法的局限。
2. 设计了基于Beta-二项混合建模和KS检验的自适应稳定性检测机制，能够动态追踪判断共识变化，实现辩论过程的高效终止。
3. 进行了全面的实证验证，涵盖多种LLM模型、文本与多模态任务，证明框架在准确性上显著优于多数投票，且具备良好的通用性和实用性。

---

翻译部分（Markdown格式）

Abstract

随着大型语言模型（LLMs）推理能力的不断提升，它们越来越多地被用于复杂的评估任务，例如给学生的回答评分、验证事实性声明以及比较竞争性答案。利用多个LLM作为自动评估器，通过聚合多样化