Calibrating Large Language Models Using Their Generations Only

本文是LLM系列文章，针对《Calibrating Large Language Models Using Their Generations Only》的翻译。

摘要

随着大型语言模型（LLM）越来越多地部署在面向用户的应用程序中，通过准确量化模型对其预测的信心来建立信任和维护安全变得更加重要。然而，找到有效的方法来校准LLM——尤其是当模型的唯一接口是它们生成的文本时——仍然是一个挑战。我们提出了APRICOT（置信目标的辅助预测）：一种设置置信目标并训练额外模型的方法，该模型仅基于LLM的文本输入和输出来预测LLM的置信度。这种方法有几个优点：它在概念上很简单，不需要访问超出其输出的目标模型，不干扰语言生成，并且有多种潜在用途，例如通过描述预测的置信度或根据置信度调整给定答案。我们展示了我们的方法在闭卷问答中白盒和黑盒LLM的校准误差方面如何具有竞争力，以检测不正确的LLM答案。

1 引言

2 相关工作

3 方法

4 实验

5 讨论

6 结论

我们提出了APRICOT，这是一种从任何语言模型中单独获得输