本文是LLM系列文章,针对《SEMANTIC UNCERTAINTY: LINGUISTIC INVARIANCES FOR UNCERTAINTY ESTIMATION IN NATURAL LANGUAGE GENERATION》的翻译。
语义不确定性:自然语言生成中不确定性估计的语言不变性
文章主要内容和创新点总结
主要内容
本文针对自然语言生成(NLG)任务中不确定性估计的挑战,提出了一种名为语义熵(Semantic Entropy) 的方法,用于测量大型语言模型的不确定性。核心问题在于:传统方法基于词法概率(如序列似然)评估不确定性,但自然语言中不同句子可能语义等价(如“法国的首都是巴黎”和“巴黎是法国的首都”),导致词法层面的不确定性无法反映真实的语义置信度。
作者通过以下步骤解决该问题:
- 生成样本:从语言模型的预测分布中采样多个句子。
- 语义聚类:使用双向蕴含算法(基于DeBERTa模型)将语义等价的句子聚类,每个聚类代表一个“语义等价类”。
- 熵计算:将同一语义类的句子概率累加,计算语义分布的熵,即语义熵