2025_NIPS_ConfTuner: Training Large Language Models to Express Their Confidence Verbally

文章核心总结与创新点

一、主要内容

该研究聚焦大语言模型（LLMs）在高风险领域（科学、法律、医疗等）中存在的“过度自信”问题——模型常对错误答案表现出高置信度，阻碍可靠部署。为解决这一问题，研究提出ConfTuner，一种简单高效的微调方法，通过自定义损失函数实现LLM语言化置信度（如“我有80%的把握”）的校准，无需真实置信度标签或代理估计值。

研究核心包括：

1. 理论基础：借鉴传统机器学习中的“适当评分规则”，设计tokenized Brier score（令牌化布里尔分数），证明其为语言化置信度的适当评分规则，能激励模型输出反映真实正确性概率的置信表达。
2. 方法流程：ConfTuner包含两步——① 计算模型对预定义置信令牌（如0%-100%）的概率分布；② 基于令牌化布里尔分数微调模型，惩罚校准不当的置信表达。
3. 实验验证：在HotpotQA（训练集）及GSM8K、TriviaQA等多个测试集上验证，ConfTuner在ECE（期望校准误差）和AUROC（ROC曲线下面积）指标上显著优于基线方法，且能泛化到不同置信度格式（数值/语言描述）、隐式置信表达（自然语言描述不确定性）及黑盒模型（如GPT-4o）的校准。
4. 实际价值：校准后的置信度提升了LLM的自校正能力，并在模型级联系统中实现更高的可靠性-成本平衡，推动可信LLM系统的发展。

二、创新点

1. 无需依赖真实置信度或代理标签：通过令牌化布里尔分数实现端到