Great Models Think Alike and this Undermines AI Oversight

本文是LLM系列文章，针对《Great Models Think Alike and this Undermines AI Oversight》的翻译。

摘要

随着语言模型（LM）能力的进步，对人类来说，大规模评估和监督它们变得越来越困难。有希望其他语言模型可以自动化这两项任务，我们称之为“人工智能监督”。我们通过提出机会调整概率协议（CAPA）来研究模型相似性如何影响人工智能监督的两个方面：基于模型错误重叠的LM相似性度量。使用CAPA，我们首先证明LLM作为评判者的分数倾向于与评判者相似的模型，从而推广了最近的自我偏好结果。然后，我们研究了LM注释的训练，发现弱监督者和强学生模型之间的互补知识在从“弱泛化到强泛化”的过程中起着至关重要的作用。随着模型能力的提高，发现错误变得更加困难，我们可能会更多地听从人工智能的监督。然而，我们观察到一个令人担忧的趋势——随着能力的提高，模型错误变得越来越相似，这表明了相关故障的风险。我们的工作强调了报告和纠正模型相似性的重要性，特别是在新兴的人工智能监督范式中。

1 引言

2 方法：测量LM相似性

3 LLM-as-a-Judge中的亲和力偏差

4 学习LM标注器的互补知识

5 随着能力的提高，模型会犯更多类似的错误

6 相关工作

7 结论，局限性，未来工作

我们的论文表明了测量语言模型功能相似性的重要性。我们推导了一种新的模型相似性概率度量CAPA（