Uncertainty Quantification for In-Context Learning of Large Language Models

本文是LLM系列文章，针对《Uncertainty Quantification for In-Context Learning of Large Language Models》的翻译。

摘要

上下文学习已经成为大型语言模型（LLM）的一种突破性能力，并通过在提示中提供一些与任务相关的演示，彻底改变了各个领域。然而，LLM反应中值得信赖的问题，如幻觉，也被积极讨论。现有的工作致力于量化LLM反应中的不确定性，但它们往往忽视了LLM的复杂性和上下文学习的独特性。在这项工作中，我们深入研究了与上下文学习相关的LLM的预测不确定性，强调这种不确定性可能源于所提供的演示（任意不确定性）和与模型配置相关的模糊性（认知不确定性）。我们提出了一种新的公式和相应的估计方法来量化这两种类型的不确定性。所提出的方法提供了一种无监督的方式，以即插即用的方式理解上下文学习的预测。进行了大量的实验来证明分解的有效性。代码和数据可在以下位置获取。

1 引言

2 上下文学习的不确定性分解

3 相关工作

4 实验

5 结论

我们提供了一种新的方法，从贝叶斯的角度将LLM的预测不确定性分解为其任意和认识的角度。我们还设计了新的近似方法来量化基于分解的不同不确定性。通过大量实验验证了该方法的有效性和比其他方法更好的性能。