SEMANTIC UNCERTAINTY: LINGUISTIC INVARIANCES FOR UNCERTAINTY ESTIMATION IN NATURAL LANGUAGE GENERATI

本文是LLM系列文章，针对《SEMANTIC UNCERTAINTY: LINGUISTIC INVARIANCES FOR UNCERTAINTY ESTIMATION IN NATURAL LANGUAGE GENERATION》的翻译。

文章主要内容和创新点总结

主要内容

本文针对自然语言生成（NLG）任务中不确定性估计的挑战，提出了一种名为语义熵（Semantic Entropy） 的方法，用于测量大型语言模型的不确定性。核心问题在于：传统方法基于词法概率（如序列似然）评估不确定性，但自然语言中不同句子可能语义等价（如“法国的首都是巴黎”和“巴黎是法国的首都”），导致词法层面的不确定性无法反映真实的语义置信度。

作者通过以下步骤解决该问题：

1. 生成样本：从语言模型的预测分布中采样多个句子。
2. 语义聚类：使用双向蕴含算法（基于DeBERTa模型）将语义等价的句子聚类，每个聚类代表一个“语义等价类”。
3. 熵计算：将同一语义类的句子概率累加，计算语义分布的熵，即语义熵。

实验表明，语义熵在问答数据集（TriviaQA、CoQA）上预测模型准确性的能力显著优于基线方法（如预测熵、标准化熵），且对模型规模的适应性更强，所需样本量更少。

创新点

1. 提出语义熵概念：首次将语义等价性引入不确定性估计，通过聚类语义等价样本，将不确定性评估从词法空间转移到语义空间，更符合实际应用需求。
2. 双向蕴含聚类算法：利用自然语言推理模型（