让 LLM 来评判 | 技巧与提示

LLM 评估模型已知偏差及缓解措施:

• 缺乏内部一致性：同一 prompt 输入评估模型执行多次得到的结果可能不一样 (如果温度参数不设为 0)。
  • 缓解措施：遵循 “自我一致性 (self-consistency)” 设置 prompt，输入模型执行多次并保留多数结果
• 自我偏好：LLM 评估模型更 偏好自己的输出模式，因此会对模式相似的结果评分偏高。
  • 缓解措施：采用陪审团机制
• 输入扰动不敏感：评估模型对 扰动输入 的辨识效果较差，难以提供一致的评分范围 (更多实验结果可以参考 这个链接)。例如对于施加了相同程度噪声的文本，使用评估模型评估文本质量的评分无法反映噪声的程度。
  • 缓解措施：
    • 要求模型先输出详细的推理过程 再输出评分
    • 在 prompt 中添加一致的评分标准
• 位置偏差：评估模型更 偏好特定位置的答案。例如在成对比较时，Claude 和 GPT3.5 在多次测试中通常会偏好某一个位置，例如第一个或第二个答案。
  • 缓解措施：
    • 随机调整答案位置
    • 计算所有选项的对数概率并归一化
• 冗长偏好 (长度偏差)：评估模型更偏好冗长的答案。
  • 缓解措施：考虑答案中的长度差异
• 难以对齐人类答案：
  • 在所有评估中，人工评估是否可以作为一个不错的基线尚有争议。例如在某些特定领域 (如医学、法律、数学等)，如果标注员专业性不够，那么得到的结果可能跟直接采用 LLM 一样差。
• 格式偏差：如果输入模型的 prompt 格式与其训练数据的格式 相差甚远，可能导致模型的评估结果不准确。例如，成对比较模型的训练集数据格式中提供了参考答案，如果在评估时没有给定参考答案或者给定的参考答案格式有误，那么评估结果就不可信。
  • 缓解措施：仔细遵循评估模型训练集 prompt 格式 (比如指令微调模型的格式)。