SAFER: RISK-CONSTRAINED SAMPLE-THEN-FILTER IN LARGE LANGUAGE MODELS

该文章提出了名为SAFER的两阶段风险控制框架，旨在解决开放域问答中大型语言模型（LLMs）输出不可靠的问题，通过抽样预算校准和不确定性阈值过滤，实现对错误覆盖率的严格控制，同时具备数据高效性和鲁棒性。

一、文章主要内容

1. 研究背景
   • LLMs在风险敏感型开放域问答中存在幻觉内容和置信度校准问题，影响输出可靠性。
   • 现有选择性 conformal 预测（SCP）方法虽能提供统计保障，但假设所有样本可通过有限抽样获得有效答案，不适用于无固定解空间的开放域场景。
2. SAFER框架核心流程
   • 阶段一：抽样预算校准（Abstention-aware Sampling）：在预留的校准集上，基于用户指定风险水平α，使用Clopper-Pearson精确法确定最小抽样预算Ŝ。若最大抽样上限M仍无法满足风险要求，则模型弃权，避免生成无效预测集。
   • 阶段二：Conformal化过滤（Conformalized Filtering）：从校准集中筛选出在预算Ŝ内可获得有效答案的样本，引入另一风险水平β，通过conformal风险控制框架校准不确定性阈值t，过滤候选集中的不可靠答案，同时控制正确答案被排除的风险。