Just Ask for Calibration_just ask for calibration: strategies for eliciting-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132576527

本文研究了经过人类反馈强化学习（RLHF）微调的大型语言模型（LMs）的校准问题。发现通过正确的提示策略和温度缩放，RLHF LMs的校准误差可降低50%以上，提高预测的可信度。未来工作将探讨降低模型对提示敏感性、利用校准改善长形式生成和领域依赖性的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback》的翻译。

Just Ask for Calibration：从人类反馈微调的语言模型中提取校准置信度分数的策略

摘要
1 引言
2 评估RLHF-LMs的校准
3 结果
4 讨论

摘要

一个值得信赖的真实世界预测系统应该得到很好的校准；也就是说，它对答案的信心表明了答案正确的可能性，在低信心预测的情况下，可以推迟到更昂贵的专家那里。虽然最近的研究表明，无监督预训练产生的大型语言模型（LMs）校准得非常好，但实践中最广泛使用的LMs在初始无监督预训练阶段后通过人类反馈强化学习（RLHFLMs）进行了微调，对于这些模型是否保持了其祖先的良好校准性，结果喜忧参半。在本文中，我们对从用RLHF微调的LLM中提取置信度得分的计算上可行的方法进行了广泛的评估。我们发现，在正确的提示策略下，RLHF LMs表达的概率比模型的条件概率校准得更好，能够实现相当好的校准预测。通过将提示策略和温度缩放相结合，我们发现可以将RLHFLMs的预期校准误差降低50%以上。