2025_NIPS_Language Ranker: A Lightweight Ranking framework for LLM Decoding

一、文章主要内容总结

本文聚焦大型语言模型（LLMs）的解码过程优化，核心是解决传统解码策略（如top-k采样、束搜索）的规则依赖性、任务局限性，以及现有奖励模型（RM）计算开销大的问题。作者从推荐系统视角重新解读LLMs：将输入视为用户信息，模型生成的候选响应视为推荐物品，解码过程类比推荐系统的排序阶段，进而提出Language Ranker——一种轻量级排序框架。

该框架的核心逻辑的是：

1. 基础模型生成多个候选响应；
2. 提取基础模型特定中间层（约底层60%位置）的隐藏状态作为输入指令和候选响应的特征（复用基础模型特征，避免冗余计算）；
3. 通过轻量级排序器（列表式ListRanker或点式PointRanker）对候选响应重排序，选择最优结果。

实验验证显示，Language Ranker仅需不足0.5M额外参数，在数学（MATH）、编程（MBPP）、函数调用（xLAM）及指令跟随等任务中，性能比肩基于8B模型的大型奖励模型，且训练和推理开销显著降低，支持CPU独立训练部署，可实现个性化适配（单一基础模型搭配多个任务/用户专属排序器）。

二、文章创新点

1. 视角创新：首次将LLMs解码过程类比推荐系统排序阶段，揭示传统方法的核心缺陷——未复用基础模型已提取的