从计算到裁定：大型语言模型在数学推理任务中的评判能力

📚 引言

在人工智能迅速发展的今天，大型语言模型（LLMs）不仅在生成文本方面表现优异，还逐渐被赋予了“评判者”的角色。这一“语言模型作为评判者”的范式，旨在自动评估其他生成模型的质量，减少对人工标注的需求。我们的研究聚焦于数学推理任务，因为这些任务不仅需要复杂的多步骤推理能力，而且它们的解决方案是可验证的，从而使评估更加客观。

🔍 相关工作

LLM作为评判者

过去的研究主要集中在LLM的生成任务上，例如翻译和摘要。在这些任务中，LLM作为评判者的有效性通常通过与人类评审的相关性来评估。然而，我们的研究不仅限于此，而是探索LLM在数学推理数据集上的评判能力。我们基于四个大型模型（参数超过300亿）和四个小型模型（参数少于100亿），在三个数学推理数据集上进行实验。

LLM评判者的偏见

人类标注数据不可避免地反映了标注者的偏见，而LLM评判者也不例外。研究表明，LLM可能在评判过程中表现出自我偏见和位置偏见，这可能对其评判结果产生重大影响。我们旨在揭示这些潜在的偏见，并分析它们如何影响LLM的判断能力。