An Uncertainty-Driven Adaptive Self-Alignment Framework for Large Language Models

文章主要内容和创新点

主要内容

本文提出了一种名为不确定性驱动的自适应自对齐（Uncertainty-Driven Adaptive Self-Alignment, UDASA） 的框架，旨在全自动地改进大型语言模型（LLMs）与人类意图和安全规范的对齐效果。该框架的核心流程包括：

1. 多响应生成与不确定性量化：为每个输入生成多个响应，并从语义一致性、事实准确性、价值对齐性三个维度量化输出的不确定性；
2. 偏好对构建与样本分阶段：基于不确定性分数构建偏好对（即“较优响应”与“较差响应”的配对），并根据响应间的不确定性差异，将训练样本分为保守阶段（不确定性差异大，易区分）、中等阶段（不确定性差异中等，区分度一般）、探索阶段（不确定性差异小，区分度模糊）；
3. 分阶段优化模型：按照“保守→中等→探索”的顺序分阶段训练模型，逐步提升模型在对齐任务上的表现。

实验结果表明，UDASA在无害性生成、有用性生成、真实性生成和可控情感生成等任务上均显著优于现有对齐方法（如RLAIF、RLCD、RAIN等），有效提升了模型的安全性、有效性和泛化能力。

创新点

1. 全自动自对