2025_NIPS_Flexible Realignment of Language Models

文章总结与翻译

一、主要内容

该研究针对语言模型（LM）训练后可能出现的性能不达标（如过度思考导致计算成本增加、对话模型过度迎合用户等）问题，提出了一套灵活重对齐框架，支持在训练时（TrRa）和推理时（InRa）对模型的对齐程度进行定量控制，无需大规模重训练即可实现高效调整。

核心背景

现有语言模型（如GPT-4o、DeepSeek-R1）经预训练、SFT、RL等阶段训练后，可能因奖励信号不完善或用户需求变化出现失准。传统重对齐方法（如重新训练）资源消耗极大（例：1.5B参数模型重训练需7万A100 GPU小时），且缺乏训练/推理阶段的灵活性。

核心方法

1. 训练时重对齐（TrRa）：受知识蒸馏启发，通过可控融合参考模型与已对齐模型的输出logits构建“教师信号”，指导参考模型重对齐。支持迭代式重对齐（TrRa-iter），可动态调整对齐强度（通过参数λ），避免传统蒸馏中教师信号固定的局限。
2. 推理时重对齐（InRa）：基于“语言模型底层对微调影响更大”的发现，在原始模型底层插入一个初始为恒等变换的“层适配器”（Layer Adapter），仅微调该适配器而冻结原始层。推理时，输入嵌入同时经适配器和原始