2025_NIPS_Efficient semantic uncertainty quantification in language models via diversity-steered sam

一、文章主要内容总结

该研究聚焦于大型语言模型（LLMs）在自由形式问答（QA）任务中的语义不确定性量化问题，核心目标是解决传统方法需大量昂贵生成样本才能获得稳定估计的痛点。文章提出了一套统一的、模型无关的多样性引导采样框架，可同时适用于自回归模型（ARMs）和掩码扩散模型（MDMs），主要内容包括：

1. 问题背景：LLMs生成文本流畅但存在固有的随机不确定性（ aleatoric uncertainty）和认知不确定性（epistemic uncertainty），后者可能导致幻觉；而自由形式QA中，词汇不同的响应可能语义等价，传统采样方法易产生语义冗余样本，浪费计算资源。
2. 核心方法：
   • 多样性引导采样：通过自然语言推理（NLI）模型注入语义相似度惩罚，在解码过程中避免语义冗余输出，支持ARMs和MDMs两种范式；
   • 偏差校正：采用重要性重加权修正采样偏差，确保不确定性估计的一致性；
   • 方差缩减：利用控制变量降低估计方差，提升样本效率；
   • NLI模型微调：对NLI模型进行轻量微调，使其能处理部分生成序列或掩码片段，无需修改基础LLM。
3. 实验验证：在CoQA、TriviaQA、AmbigQA、TruthfulQA四个QA基准数据集上，使用OPT、LLaMA 3、LLaDA等模型验证，结果表明该方法在相同样本量下覆盖更多语义簇，不确定性估计性能匹配或超越基线方法（如温度缩放、多样化束搜索等）。
4. 适用场