2025_NIPS_Bridging Human and LLM Judgments: Understanding and Narrowing the Gap

文章核心总结与翻译

一、主要内容

文章针对大语言模型作为评估者（LLM-as-a-Judge）时与人类判断存在系统性偏差的问题，提出了统一统计框架Bridge。该框架假设人类和LLM评估均受潜在人类偏好分数影响，LLM的偏差可通过 covariates（如响应长度、情感等）的线性变换建模，支持绝对评分和 pairwise 比较两种场景。通过logit trick拟合模型，无需访问LLM权重，仅需少量人类标注数据即可校准LLM评分。在6个LLM评估者和两个基准数据集（BigGen Bench、Chatbot Arena）上验证表明，Bridge能提升与人类判断的一致性（准确性、校准度、KL散度），并揭示了两者间的系统性偏差（如LLM更偏好简洁内容，人类更重视创造性）。

二、创新点

1. 提出Bridge框架，首次将人类与LLM判断通过统计模型明确关联，支持偏差解读、概率校准，且与LLM无关，可适配任何API。
2. 推导了参数估计量的渐近分布，支持置信区间构建和人类-LLM偏差的正式假设检验。
3. 验证了框架在少量人类标注数据下的有效性，可量化并解释两者偏差的来源（如文本长度、情感等 covariates的影响）。

---

三、核心部分翻译（Markdown格式）

Abstract

大语言模型正越来越多地被用作评估者（LLM-as-a-Judge），以大规模评估模型输出，但它们的评估结果往往与人类判断存