2026_ICLR_TOWARDS UNDERSTANDING VALUABLE PREFERENCE DATA FOR LARGE LANGUAGE MODEL ALIGNMENT

文章核心总结

一、主要内容

该文章聚焦于开放域对话生成中的“一致性”问题（即对话中角色性格、事实信息、情感倾向等维度的连贯性缺失），提出了一种名为 Consistent Response Generation with Self-Memory Reinforcement Learning (SMRL) 的框架。核心思路是通过“自记忆强化学习”机制，让模型在生成对话时主动记忆历史对话中的关键一致信息，并通过强化学习优化，提升长程对话中的一致性表现。

文章首先分析了现有开放域对话模型的核心缺陷：现有模型多关注流畅度和相关性，缺乏对“跨轮次一致信息”的建模，导致生成内容前后矛盾（如角色身份变化、事实描述冲突等）。随后，作者设计了三层核心模块：

1. 自记忆模块（Self-Memory Module）：提取并存储历史对话中的一致信息（如角色属性、关键事实、情感状态），形成结构化记忆库；
2. 记忆感知生成模块（Memory-Aware Generation Module）：生成回复时动态调用记忆库，确保内容与历史信息一致；
3. 强化学习优化模块（RL Optimization Module）：设计“一致性奖励函数”（基于记忆匹配度、事实连贯性），通过Policy Gradient优化模型，平衡一致性与流畅度。

实验部分采用了多个开放域对话数据集（包括PersonaChat、DailyDialog等），从自动评估（