Calibrating Long-form Generations from Large Language Models

本文是LLM系列文章，针对《Calibrating Long-form Generations from Large Language Models》的翻译。

摘要

为了提高大型语言模型（LLM）的可靠性，校准是至关重要的——模型评估的置信度得分应与其反应正确的实际可能性保持一致。然而，当前的置信度启发方法和校准指标通常依赖于对响应正确性的二进制真/假评估。这种方法不适用于长格式生成，在长格式生成中，答案可能是部分正确的。为了解决这一差距，我们引入了一个统一的校准框架，其中LLM反应的正确性及其相关的置信水平都被视为一系列分数的分布。在这个框架内，我们开发了三个指标来精确评估LLM校准，并进一步提出了两种基于自洽和自我评价的置信度启发方法。我们的实验，包括长格式的QA和摘要任务，证明了更大的模型不一定能保证更好的校准，校准性能是依赖于度量的，并且自一致性方法在事实数据集中表现出色。我们还发现，可以通过微调、整合相关源文件、缩放温度以及将自洽性与自我评估相结合等技术来增强校准。最后，我们展示了我们系统的实际应用：在API预算有限的情况下，选择并级联开源模型和ChatGPT来优化正确性。这项研究不仅挑战了LLM校准的现有概念，而且为提高长格式生成中的可信度提供了实用的方法。

1 引言

2 相关工作

3 校正定义

4 信任激发

5 校准度量

6 实验和结果

7 结论

总之，我们的研究引入了一个全面的校准系统，旨在评估短格式和长格式文本生成中的LLM。我们已经开发了从L