Calibrating Large Language Models Using Their Generations Only

本文是LLM系列文章，针对《Calibrating Large Language Models Using Their Generations Only》的翻译。

摘要

随着大型语言模型（LLM）越来越多地部署在面向用户的应用程序中，通过准确量化模型对其预测的信心来建立信任和维护安全变得更加重要。然而，找到有效的方法来校准LLM——尤其是当模型的唯一接口是它们生成的文本时——仍然是一个挑战。我们提出了APRICOT（置信目标的辅助预测）：一种设置置信目标并训练额外模型的方法，该模型仅基于LLM的文本输入和输出来预测LLM的置信度。这种方法有几个优点：它在概念上很简单，不需要访问超出其输出的目标模型，不干扰语言生成，并且有多种潜在用途，例如通过描述预测的置信度或根据置信度调整给定答案。我们展示了我们的方法在闭卷问答中白盒和黑盒LLM的校准误差方面如何具有竞争力，以检测不正确的LLM答案。

1 引言

2 相关工作

3 方法

4 实验

5 讨论

6 结论

我们提出了APRICOT，这是一种从任何语言模型中单独获得输入和文本输出的置信度分数的通用方法。我们证明了通过问题嵌入的聚类来计算校准目标是可能的。通过随后对较小的语言模型进行微调，我们在不同的模型和数据集上以具有竞争力的校准分数，胜过其他方法来区分错误答案和正确答案。虽然我们在这项工作