2025_NIPS_Clean First, Align Later: Benchmarking Preference Data Cleaning for Reliable LLM Alignment

文章核心总结与翻译

一、主要内容

该研究聚焦大语言模型（LLM）对齐中的偏好数据质量问题，针对人类反馈存在的噪声、不一致等缺陷，构建了首个全面的偏好数据清洗基准测试PrefCleanBench。核心内容包括：

1. 问题背景：人类反馈是LLM对齐人类偏好的关键，但标注偏差、噪声等问题会降低奖励模型质量并阻碍对齐效果，而现有数据清洗方法缺乏系统评估。
2. 基准框架：涵盖13种偏好数据清洗方法，分为三大范式——LLM作为评判者（如GPT-4o重标注）、基于奖励模型（如奖励差距计算）、启发式准则（如提示质量标签），并提供模块化开源实现。
3. 评估协议：制定标准化评估流程，包含4个代表性偏好数据集（Anthropic-HH、UltraFeedback等）、多种对齐目标和模型架构，采用胜负平率（WinTie）和平均奖励（Avg. Rwd）作为核心指标，同时评估方法在不同数据集、模型和优化算法下的泛化性。
4. 关键发现：移除不可靠数据比翻转标签更有效；多评判者协同（如VoteMaj-R）比单一评判者更能提升对齐效果；20%-30%的过滤比例为最优数据清洗阈值；VoteMaj-R和Tag-Cmp在不同优化算法和基础模型中表现出强泛化性。

二、创新点

1. 全面覆盖与开源实现：系统梳理13种数据清洗方法并建立统一分类体系，开源所有方法的模块化实现，便于集成到标准