Optimal Self-Consistency for Efficient Reasoning with Large Language Models

文章总结与翻译

一、主要内容

该研究围绕大语言模型（LLM）推理任务中的自一致性（Self-Consistency, SC）技术展开，核心是解决传统SC方法样本效率低、缺乏统一理论支撑的问题，具体内容如下：

1. 理论分析基础：将SC视为模式估计和多数投票问题，基于模式估计和投票理论，首次全面分析了SC及其变体的缩放行为和样本效率，证明SC遵循幂律缩放特性，部分变体可实现加速甚至指数级误差衰减。
2. 关键理论发现：
   • 单问题层面：推导了SC的误差上界，提出“边际值”（margin，即最可能答案与第二可能答案的概率平方根之差的平方）作为模型置信度的核心度量，边际值与误差衰减率高度相关。
   • 数据集层面：证明在广泛数据集（包括均匀分布、加权分布、对抗性分布数据集）中，SC的误差衰减呈现幂律特性，且边际分布在趋近于0时满足特定比例关系。
3. 样本分配策略研究：对比固定分配（基于先验信息分配样本）和动态分配（推理中自适应分配样本）两种方案，指出动态分配更具潜力，但现有方法存在超参数依赖和预算适配问题。
4. 新型算法提出：设计Blend-ASC，一种无超参数的自适应SC变体，通过融合渐近最优算法（PPR-1v1）和现有自适应变体（ASC）的优势，动态为不同难度问题分配样本，同时支持固定预算约束。
5. 实验验证：在GSM8K、MATH、MMLU等数据集上