SEMANTIC UNCERTAINTY: LINGUISTIC INVARIANCES FOR UNCERTAINTY ESTIMATION IN NATURAL LANGUAGE GENERATI

本文是LLM系列文章，针对《SEMANTIC UNCERTAINTY: LINGUISTIC INVARIANCES FOR UNCERTAINTY ESTIMATION IN NATURAL LANGUAGE GENERATION》的翻译。

文章主要内容和创新点总结

主要内容

本文针对自然语言生成（NLG）任务中不确定性估计的挑战，提出了一种名为语义熵（Semantic Entropy） 的方法，用于测量大型语言模型的不确定性。核心问题在于：传统方法基于词法概率（如序列似然）评估不确定性，但自然语言中不同句子可能语义等价（如“法国的首都是巴黎”和“巴黎是法国的首都”），导致词法层面的不确定性无法反映真实的语义置信度。

作者通过以下步骤解决该问题：

1. 生成样本：从语言模型的预测分布中采样多个句子。
2. 语义聚类：使用双向蕴含算法（基于DeBERTa模型）将语义等价的句子聚类，每个聚类代表一个“语义等价类”。
3. 熵计算：将同一语义类的句子概率累加，计算语义分布的熵，即语义熵