UALIGN: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models

本文是LLM系列文章，针对《UALIGN: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models》的翻译。

摘要

尽管表现出了令人印象深刻的能力，但大型语言模型（LLM）仍然经常难以准确表达它们所拥有的事实知识，特别是在LLM的知识边界模糊的情况下。为了改进LLM的事实表达，我们提出了UALIGN框架，该框架利用不确定性估计来表示知识边界，然后明确地将这些表示作为输入特征纳入提示，使LLM与事实知识保持一致。首先，我们通过计算两个不确定性估计（包括置信度得分和语义熵）来准备知识问答（QA）样本的数据集，以表示LLM的知识边界。随后，使用准备好的数据集，我们训练了一个包含不确定性估计的奖励模型，然后采用邻近策略优化（PPO）算法对LLM进行事实性对齐。实验结果表明，通过在LLM比对中集成不确定性表示，所提出的UALIGN可以显著提高LLM在域内和域外任务中自信地回答已知问题和拒绝未知问题的能力，在各种基于提示和训练的基线上显示出可靠性的提高和良好的泛化能力。

1 引言

2 方法

3 实验设置

4 结果与分析

5 相关工作

6 结论

在这篇论文中，我们提出了一个UALIGN框架，明确地利用不确定性估计来引出LLM，以准确地