2025_nips_Rollout Roulette: A Probabilistic Inference Approach to Inference-Time Scaling of LLMs usi

文章核心总结与翻译

一、主要内容

本文针对大语言模型（LLMs）推理时扩展（ITS）中确定性搜索方法存在的“早期剪枝”问题，提出一种基于粒子滤波（Particle Filtering, PF）的概率推理方法——Rollout Roulette。该方法通过粒子群蒙特卡洛技术，在推理过程中维持多样化的候选轨迹，平衡探索与利用，避免因奖励模型（PRM）不完善而过早丢弃潜在正确路径。

核心背景

• 现有LLM性能提升依赖模型规模或训练数据扩大，但边际收益递减，推理时计算资源分配（ITS）成为互补方案。
• 传统ITS方法（如束搜索、蒙特卡洛树搜索）基于奖励模型进行确定性搜索，因PRM存在噪声或校准偏差，易过早剪枝正确候选路径，导致性能次优。

方法设计

1. 状态空间建模：将LLM推理建模为状态空间模型（SSM），LLM作为状态转移模型，PRM作为观测发射模型。
2. 粒子滤波推理：通过粒子集合表示候选轨迹，迭代执行初始化、传播、权重更新和重采样步骤，维持轨迹多样性。
3. 奖励聚合策略：提出模型基聚合方法，利用PRM对部分轨迹整体评分，提升噪声鲁棒性。