Calibrating Large Language Models with Sample Consistency

本文是LLM系列文章，针对《Calibrating Large Language Models with Sample Consistency》的翻译。

摘要

准确衡量大型语言模型（LLM）预测的置信水平对于其可靠应用至关重要。然而，LLM往往天生未经校准，由于其专有性质和大规模，无法使用传统的校准技术。在这项工作中，我们探索了通过三种一致性度量从多个随机采样的模型代的分布中获得置信度的潜力。我们在九个推理数据集上对各种开源和闭源模型进行了广泛的评估。结果表明，基于一致性的校准方法优于现有的后置方法。同时，我们发现，中间解释、模型缩放和较大样本量等因素会增强校准，而指令调整会使校准更加困难。此外，从一致性中获得的置信度分数有可能提高模型性能。最后，我们根据各种LMs的特点，为选择合适的一致性指标进行校准提供了实际指导。

1 引言

2 相关工作

3 方法

4 实验设置

5 结果

6 分析

7 案例研究：校准是否有助于提高模型性能？

8 结论

我们使用熵和FSD作为基于朴素一致性测度的扩展，研究了从样本一致性中引出LLM置信度的有效性。通过对各种开源和闭源模型以及九个推理数据集的广泛评估，我们证明了这些方法优于传统的事后语言化和