Multi-Perspective Consistency Enhances Confidence Estimation in Large Language Models

本文是LLM系列文章，针对《Multi-Perspective Consistency Enhances Confidence Estimation in Large Language Models》的翻译。

摘要

在大型语言模型（LLM）的部署中，准确的置信度估计对于评估模型预测的可信度至关重要。然而，现有的方法往往无法克服对错误答案过于自信的问题。在这项工作中，我们专注于改进大型语言模型的置信度估计。考虑到语言模型中自我意识的脆弱性，我们引入了一种多视角一致性（MPC）方法。我们利用模型内（MPC内部）和不同模型间（MPC横向）不同视角的互补见解来缓解单一视角下产生的过度自信问题。在八个公开数据集上的实验结果表明，我们的MPC实现了最先进的性能。进一步的分析表明，MPC可以缓解过度自信的问题，并且可以有效地扩展到其他模型。

1 引言

2 方法

3 实验

4 相关工作

5 讨论

6 结论

在本文中，我们关注LLM的置信度估计中的过度自信问题。我们介绍了两种方法：MPC-Internal