A Survey on LLM-as-a-Judge

本文是LLM系列文章，针对《A Survey on LLM-as-a-Judge》的翻译。

摘要

准确和一致的评估对于许多领域的决策至关重要，但由于固有的主观性、可变性和规模，这仍然是一项具有挑战性的任务。大型语言模型（LLM）在不同领域取得了显著的成功，导致了“LLM即法官”的出现，LLM被用作复杂任务的评估者。LLM能够处理不同的数据类型，并提供可扩展、经济高效和一致的评估，是传统专家驱动评估的有力替代品。然而，确保LLM即法官系统的可靠性仍然是一个重大挑战，需要仔细设计和标准化。本文对LLM-as-a-Judge进行了全面的调查，解决了核心问题：如何建立可靠的LLM-as-a-Judge系统？我们探索了提高可靠性的策略，包括提高一致性、减少偏见和适应不同的评估场景。此外，我们提出了评估LLM即法官系统可靠性的方法，并得到了为此目的设计的新基准的支持。为了推进LLM即法官系统的开发和现实部署，我们还讨论了实际应用、挑战和未来方向。这项调查为这一快速发展的领域的研究人员和从业者提供了基础参考。https://github.com/IDEA-FinAI/LLM-as-Evaluator.

1 引言

2 背景和方法

3 改善策略

4 LLM评估器的评价

5 元评估基准