本文探讨了大型语言模型（LLM）在上下文学习中的预测不确定性，提出了分解模型不确定性为任意不确定性（由演示引起）和认知不确定性（模型配置模糊性）的新方法。该方法无监督且易于集成，通过实验验证了其有效性和优越性。未来工作将扩展到更多数据和任务的不确定性量化。
本文是LLM系列文章，针对《Uncertainty Quantification for In-Context Learning of Large Language Models》的翻译。
摘要
上下文学习已经成为大型语言模型（LLM）的一种突破性能力，并通过在提示中提供一些与任务相关的演示，彻底改变了各个领域。然而，LLM反应中值得信赖的问题，如幻觉，也被积极讨论。现有的工作致力于量化LLM反应中的不确定性，但它们往往忽视了LLM的复杂性和上下文学习的独特性。在这项工作中，我们深入研究了与上下文学习相关的LLM的预测不确定性，强调这种不确定性可能源于所提供的演示（任意不确定性）和与模型配置相关的模糊性（认知不确定性）。我们提出了一种新的公式和相应的估计方法来量化这两种类型的不确定性。所提出的方法提供了一种无监督的方式，以即插即用的方式理解上下文学习的预测。进行了大量的实验来证明分解的有效性。代码和数据可在以下位置获取。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
