文章核心总结
本文提出C3PO(Cost Controlled Cascaded Prediction Optimization),一种无标签、带概率成本约束的LLM级联推理框架,核心是通过自监督学习和保形预测,在控制推理成本不超预算的前提下,最小化与最强模型(MPM)的预测偏差,解决现有级联方法依赖标注数据、缺乏理论保障的问题,在16个推理基准测试中实现了精度与成本效率的SOTA表现。
主要创新点
- 无标签级联学习:仅用少量无标注数据(不足现有方法的1%)构建级联,通过模型间一致性信号判断是否提前退出,无需标注数据或昂贵元训练。
- 严格理论保障:结合保形预测实现成本约束(超预算概率≤α),通过PAC-Bayesian分析提供泛化误差边界,兼顾成本可控性与精度稳定性。
- 高效阈值优化:采用离散网格搜索处理非可微损失,嵌入分位数校验确保成本约束,支持跨模型家族(LLAMA/QWEN/GPT)的鲁棒级联。
翻译部分(Markdown格式)
Abstract
大型语言模型(LLMs)在复杂推理任务上取得了令人瞩目的成果,但高昂的推理成本仍是其实际部署的主要障碍。一种有前景的解决方案是采用级联推理:由小型廉价模型处理简单查询,仅将最难的样本提交给更强大的模型。然而,现有级联方法通常依赖带标注数据的监督训练,缺乏理论泛化保证,且对测试时的计算
订阅专栏 解锁全文
1323



被折叠的 条评论
为什么被折叠?



