SPUQ: Perturbation-Based Uncertainty Quantification for Large Language Models

本文是LLM系列文章，针对《SPUQ: Perturbation-Based Uncertainty Quantification for Large Language Models》的翻译。

摘要

近年来，大型语言模型（LLM）越来越普遍，提供了卓越的文本生成能力。然而，一个紧迫的挑战是他们倾向于自信地做出错误的预测，这突出了LLM中不确定性量化（UQ）的关键需求。虽然以前的工作主要集中在解决算术不确定性，但包括认识论在内的全方位不确定性仍没有得到充分的探索。受这一差距的启发，我们引入了一种新的UQ方法，即带扰动的UQ采样（SPUQ），旨在解决算术和认识上的不确定性。该方法需要为LLM输入生成一组扰动，对每个扰动的输出进行采样，并结合一个聚合模块，该聚合模块概括了文本生成任务的采样不确定性方法。通过在各种数据集上进行广泛的实验，我们研究了不同的扰动和聚合技术。我们的研究结果表明，模型不确定度校准有了显著改善，预期校准误差（ECE）平均减少了50%。我们的研究结果表明，我们提出的UQ方法为提高LLM的可靠性和可信度提供了有希望的步骤。

1 引言

2 SPUQ：不确定度量化的扰动采样

3 实验设置

4 结果和讨论

5 相关工作

我们引入了SPUQ方法来增强LLM中的不确定性校准，使预期校准误差显著降低30%至70%。我们的消融研究在很大程度上将这种改进与我们的扰动机制联系起来，强调