Just Ask for Calibration

本文是LLM系列文章，针对《Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback》的翻译。

摘要

一个值得信赖的真实世界预测系统应该得到很好的校准；也就是说，它对答案的信心表明了答案正确的可能性，在低信心预测的情况下，可以推迟到更昂贵的专家那里。虽然最近的研究表明，无监督预训练产生的大型语言模型（LMs）校准得非常好，但实践中最广泛使用的LMs在初始无监督预训练阶段后通过人类反馈强化学习（RLHFLMs）进行了微调，对于这些模型是否保持了其祖先的良好校准性，结果喜忧参半。在本文中，我们对从用RLHF微调的LLM中提取置信度得分的计算上可行的方法进行了广泛的评估。我们发现，在正确的提示策略下，RLHF LMs表达的概率比模型的条件概率校准得更好，能够实现相当好的校准预测。通过将提示策略和温度缩放相结合，我们发现可以将RLHFLMs的预期校准误差降低50%以上。

1 引言

2 评估RLHF-LMs的校准

3 结果

4 讨论

我们的研究结果为未来的工作提出了几个问题。例如，一阶段和两阶段的口头数字置信度提示在置信度的校准方面有时会有很大的不同，尽管它们只在生成答案选择之前或之后询问概率方面有所不同：我们如何降低模型校准对提示的敏