文章主要内容总结
本文系统探讨了大型语言模型(LLMs)在实际应用中的个性化对齐问题。当前LLMs通过监督微调(SFT)和人类反馈强化学习(RLHF)实现了与通用人类价值观(如帮助性、诚实性、无害性)的对齐,但在适应个体用户偏好方面存在显著不足。作者提出了一个统一的个性化对齐框架,包含以下三个核心组件:
-
偏好记忆管理
- 管理用户显式(如直接反馈)和隐式(如行为数据、用户生成内容)的偏好信息。
- 通过偏好推理将隐式信号转化为结构化的偏好空间。
-
个性化生成与奖励
- 通过提示注入、编码嵌入、参数微调或代理工作流等方式,将用户偏好融入生成过程。
- 结合通用价值观约束与个性化奖励模型,优化生成质量。
-
基于反馈的对齐
- 利用用户反馈更新偏好记忆和生成策略,平衡训练时和推理