2025_NIPS_Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models

文章核心总结与翻译

一、主要内容

本文针对传统大语言模型（LLMs）对齐方法需重训练预训练模型、灵活性差、推理延迟高等问题，提出了一种基于重要性采样的残差对齐模型（RAM）。该模型将对齐过程形式化为重要性采样，把未对齐的上游模型作为提议模块（Proposal Module），将自回归对齐模块作为残差对齐器（Residual Aligner），通过线性组合实现对齐模块与目标对齐模型的自然解耦。

文章核心围绕三大模块展开：

1. 模型架构：RAM 由提议模块（预训练LLM）和残差对齐器（小型自回归模型）组成，通过公式 (P_{\theta}(y | x)=\frac{P_{M}(y | x) Q_{\theta}(y | x)}{Z_{\theta}(x)}) 实现概率建模，解耦后可独立缩放和优化各组件。
2. 训练策略：提出序列级训练方法，仅训练参数更少的残差对齐器，提议模块仅需一次性合成数据，大幅降低训练成本（SFT场景效率提升4倍，DPO场景提升13.33倍）。
3. 推理优化：设计“提议-对齐-精简”（Proposing-Aligning-Reducing）令牌级解码算法，解决首令牌延迟问题，同时通过KL散度阈值控制和方差缩减策略提升输出稳定性。

实验在LLaMA 3和Qwen 2.5系列模型上验证，涵盖指令遵循、领域适配、偏好优化三大任务，结果表明RAM在参数效率（仅需1/8以下参数）和性能上均优于SFT、Aligner等基线方法，且首令牌延迟显著降低。

二、创新点

1. 重要性采样形式化对齐：首次将残差对齐建模为重要性采样过程，实现对齐模块与预训练模型的解耦，支持跨领域资源共享和灵活扩展。
2. 高效训练范式：序列级训练仅针对残差对齐器，提议模块无需参与训练过程（仅需一次性数据合成），大幅降低计算资源消耗。
3. 低延迟推理机制：令牌级解码算法避免依赖上游完整响应，显著减少首令牌延迟，同时通过自归一化重要性采样规避配分函数估计难题。
4. 鲁棒性优化：通过KL散度阈值控制、方差缩减策略，缓解小模型训练退化问题，提升分布不匹配场景下的稳定性。

三、核心部分翻译（Markdown格式）

Abstract

大语言模型（LLMs）在各行业的广泛应用，催生了对高质量、可定制输出的需求。然而，传统对齐方法通常需要重训练大型预训练模型，难以快速适配和优化LLMs以满足多样化应用场景。为解决这一局限，我们提出一种新颖的残差对齐模型（RAM），将对齐过程形式化为一类重要性采样。在该框架中，未对齐的上游模型作为提议分布，而对齐过程则是基于自回归对齐模块的二次采样——该模块充当重要性权重的估计器。这种设计实现了对齐模块与目标对齐模型的自然解耦，提升了灵活性和可扩展性。基于此模型，我们为对齐模块推导出一种高效的序列级训练策略，其独立于提议模块运行。此外，我们开发了一种带迭代令牌级解码的重采样算法，以解决同类方法中常见的首令牌延迟问题。在两种主流开源LLMs上，针对指令遵循、领域适配和偏好优化等多样化任务的实验评估表明，我们的方法持续优于基线模型。

Introduction

近年来，大语言模型（LLMs）的快速发展使其在各行业得到广泛应用[6, 35, 1]。使LLM输出与领域需求和人类价值观对齐的相关研究，提升了模型的实用性和内容安全性[30, 11, 24, 29, 2, 17, 45, 23]。监督学习[37, 42, 43]、偏好优化[30, 24, 11]和强化学习[46, 33, 44, 41]等技术是实现模型对齐的关键。

根据LLMs的缩放定律[19]，增大模型规模通常能提升性能。然而研究表明，即便是较小的模型也能实现有效的领域适配和价值观对齐[10]。这种规模需求的差异，使得模型在效用性能与对齐灵活性之间需要平衡[38, 31]。此外，针对特定领域训练大型模型资源消耗巨大，且需部署独立模型，这增加了资源成本并阻碍了跨领域流量共享。因此，迫切需要更高效、经济的模型解决方案。

近期研究[18, 26, 7]提出了在偏好数据集上微调适配器模块的方法，以学习偏好响应与非偏好响应、或监督示例与合成示例之间的校正残差，然后将其堆叠到上游模型上实现校正对齐。尽管这些方法在训练期间有效解耦了对齐过程与LLMs，但基于上游完整响应的校正会导致推理阶段首令牌的显著延迟，尤其是在长文本生成场景中。此外，对齐器模型(P(y | y’, x))[18]引入了用于校正的参考响应(y’)，这带来了额外的分布外（OOD）输入风险——不仅针对原始问题(x)，也针对参考响应(y’)（详见第4节）。

在本文中，我们提出一种新颖的残差对齐模型（RAM），将对齐的残差校正形式化为一类重要性采样，直接基于(x)生成(y)。在该框架中，未对齐的上游模型被称为提议模块（Proposal Module），充当提议分布；而对齐过程则是基于自回归对齐模块的二次采样——该模块作为重要性权重的估计器，被称为残差对齐器（Residual Aligner）。提议模块与残差对齐器的线性组合，使得对齐模块能够自然地与目标对齐模型解耦，如公式（1）所示：
[P_{Aligned}(y|{x})\propto P_{ProposalModule}(y|x)\ast P_{{ResidualAligner}}(y|x)\eqno (1)]

基于该框架，我们提出一种高效的训练策略，在句子级别对解耦的对齐模块进行训练。提议模块仅需在逐点监督数据集中一次性合成数据以创建偏好示例，而在偏好数据集的整个训练过程中均无需使用。此外，我们开发了一种令牌级解码算法，以最小化首词延迟，确保推理阶段的实用性（训练和解码策略如图1所示）。

通过将目标对齐模型线性分解为提议模块和残差对齐器，我们可以通过针对性的数据和资源分配，独立缩放和优化每个组件。此外，多个对齐模块可以共享一个提议模块，从而促进跨领域资源的高效利用，并提升整个系统的效率和可扩展性。第4节的实验结果表明，一个强大的大型模型与较小的残差对齐器相结合，能够以更低的成本实现高效的领域对齐。

Conclusion

本文提出了残差对齐模型（RAM），将目标对齐模型分解为预训练模型和线性对齐模块，并将残差校正形式化为重要性采样。我们还为对齐模块提出了一种高效的句子级训练策略，以及一种最小化首词延迟的令牌级解码算法。这种模块化方法允许对每个组件进行独立缩放和优化，提升了多样化任务的效率。我们的方法为LLMs的对齐残差研究提供了新的视角，推动了更高效、更具适应性的语言模型的发展。