2025_NIPS_Your Pre-trained LLM is Secretly an Unsupervised Confidence Calibrator

文章核心内容总结

本文聚焦后训练语言模型（PoLM）的过度自信问题，提出无监督置信度校准方法DACA（Disagreement-Aware Confidence Alignment）。核心逻辑是利用预训练语言模型（PLM）良好的置信度校准特性，通过筛选PLM与PoLM预测一致的样本优化温度参数，避免预测分歧样本导致的校准偏差。实验表明，DACA在MMLU、MedMCQA等数据集上显著降低ECE（最高提升15.08%），适配开源与API类模型（如GPT-4o），且可扩展至开放式问答和选择性分类任务。

创新点

1. 首次提出基于无标记数据的后验校准方法，解决传统方法依赖标记数据的痛点。
2. 揭示PLM与PoLM的预测分歧会导致温度参数过度增大，进而引发PoLM置信度不足的问题。
3. 设计分歧感知机制，仅使用预测一致样本优化校准参数，兼顾实用性与灵活性，适配不同架构、规模及后训练策略的模型。

---

Abstract 翻译

大型语言模型的后训练对于使预训练语言模型（PLM）适配人类偏好和下游任务至关重要。尽管PLM通常表现出良好的置信度校准效果，但后训练语言模型（PoLM）往往存在过度自信问题——对正确和错误输出均赋予高置信度，这会削弱其在关键应用中的可靠性。校准PoLM的主要障碍是各下游任务标记数据的稀缺性。为解决这一问题，我们提出分歧感知置信度对齐（DACA）方法，一种新颖的无监督后验置信度校准方法，用于优化温度参数T等校准参数。该方法的设计灵感源于PLM与PoLM预测分歧导致的置信度不足问题，通过温度缩放对齐二者