复旦联合上海AI Lab提出UnifiedReward！首个多模态理解和生成统一的奖励模型！

🌐 社群导航

🔗 点击加入➡️【AIGC/LLM/MLLM/3D/自动驾驶】 技术交流群

🔗 点击加入➡️【2-3月CCF投稿】交流群

数源AI 最新论文解读系列

论文名：Unified Reward Model for Multimodal Understanding and Generation

论文链接：https://arxiv.org/pdf/2503.05236

开源代码：https://codegoat24.github.io/UnifiedReward/

导读

近期在人类偏好对齐方面的进展极大地推动了多模态生成与理解任务的发展。一种直接的技术路径是直接收集人类反馈，以构建用于模型优化的偏好数据集。尽管这种方法有效，但收集大规模的人类反馈既耗时又耗资源。为此，另一种流行的方法是从有限的偏好数据中学习奖励模型，并使用学习到的奖励函数根据视觉模型的输出来生成偏好数据。然后可以利用这些合成的偏好数据进行视觉模型的偏好对齐，从而显著减少对大量人工标注的需求。

简介

人类偏好对齐方面的最新进展显著提升了多模态生成与理解能力。一种关键方法是训练奖励模型以引导偏好优化。然而，现有模型通常针对特定任务，限制了它们在不同视觉应用中的适应性。我们还认为，联合学习评估多个任务可能会产生协同效应，即改进的图像理解能力可提升图像生成评估效果，而精细的图像评估则可通过更好的帧分析使视频评估受益。为此，本文提出了UNIFIEDREWARD，这是首个用于多模态理解和生成评估的统一奖励模型，支持成对排序和逐点评分，可用于视觉模型的偏好对齐。具体而言，（1）我们首先在构建的大规模人类偏好数据集上开发了UNIFIEDREWARD，该数据集涵盖图像和视频的生成/理解任务。（2）然后，利用该模型基于视觉模型自动构建高质量的偏好对数据，通过成对排序和得分筛选逐步精细过滤其输出。（3）最后，通过直接偏好优化（DPO）利用这些数据进行偏好对齐。实验结果表明，联合学习评估不同视觉任务可带来显著的互利效果，我们将该流程应用于图像和视频的理解/生成任务，显著提升了各领域的性能。

方法与模型

1. 概述

这项工作旨在为视觉模型偏好对齐提出一个统一的奖励模型。现有研究通常如表格1所示，为特定任务开发专门的奖励模型，这限制了它们在不同视觉应用中的适应性。此外，我们直观地认为，联合学习多个视觉任务可以产生相互强化的效果，但这仍是一个未被充分探索的领域。为此，这项工作提出了UNIFIEDREWARD，这是首个用于多模态理解和生成评估的统一奖励模型，支持成对排序和单点评分。然后，它被用于视觉 - 语言模型（Vision - Language Models，VLMs）和扩散模型的对齐，使不同视觉任务的偏好学习更加稳健和具有适应性。该流程如图2所示。

图2. 方法概述。UNIFIEDREWARD流程包括三个关键阶段：（1）统一奖励模型训练：我们使用逐点评分和成对排序策略训练一个统一的奖励模型，以评估多模态生成和理解任务。（2）偏好数据构建：我们使用训练好的奖励模型通过三个步骤构建高质量的偏好数据：（a）从视觉语言模型（VLM）/扩散模型生成数据，（b）通过成对排序划分选中和未选中的输出，（c）通过逐点过滤优化选中和未选中的样本。（3）生成/理解模型对齐：然后，通过直接偏好优化（Direct Preference Optimization）使用构建好的偏好数据对视觉语言模型（VLM）/扩散模型进行微调，使其输出与人类偏好保持一致。

具体而言，我们首先构建了一个大规模的统一偏好数据集（第3.2.1节），并在该数据集上训练我们的UNIFIEDREWARD模型（第3.2.2节）。然后，我们通过对视觉 - 语言模型和扩散模型的输出进行成对排序和单点筛选，为它们整理出偏好数据集（第3.3节）。这些整理后的数据集随后用于直接偏好优化（Direct Preference Optimization，DPO）（第3.4节），有效地增强了模型与人类偏好的对齐。

2. 统一奖励模型训练

2.1. 统一偏好数据集构建

一个涵盖多个视觉相关任务的全面的人类偏好数据集对于训练统一奖励模型至关重要。然而，现有的人类反馈数据集，如 ，通常是为特定任务设计的，限制了它们的通用性。目前，还没有一个能全面涵盖视觉理解和生成任务的人类偏好数据集，这凸显了对更通用数据集的需求。为了填补这一空白，我们整合现有数据集并对其进行预处理，构建了第一个大规模统一人类偏好数据集，该数据集包含约  条数据，涵盖图像和视频的理解与生成任务。数据集的详细统计信息和可视化分布分别在表 2 和图 3 中展示。我们将在下面详细阐述每个任务的数据构建过程。

图 3. 统计结果可视化。该图展示了我们构建的统一偏好数据集的分布，以及每个任务的成对和逐点分布。

图像生成。EvalMuse [8] 包含  条提示，每条提示都有由不同模型生成的多张图像。每张图像至少由三名标注人员进行评估，他们会给出一个整体评分（1 - 5 分）以及逐元素标签，以表明特定元素是否存在。对于逐点评分学习，我们将最终得分计算为所有评分的平均值。如果至少有两名标注人员达成一致，则认为某个元素已生成；否则，将其标记为未生成。我们将整体评分和逐元素标签整合为评估答案，用于奖励模型学习。对于成对排序，我们从同一条提示中选择平均得分最高和最低的图像作为一个排序对。人类偏好数据集（HPD，Human Preference Dataset）[3] 包含  个人类偏好投票。对于每条提示，会提供由不同模型生成的两张图像，每张图像都有各自的投票数。在我们的工作中，我们直接使用投票数来构建成对排序数据，将投票数更多的图像排在前面。开放图像偏好数据集（OIP，Open-Image-Preferences） 包含  个文本到图像的偏好对，本工作直接使用这些数据。图像理解。LLava-Critic-113K [44] 包含  个逐点评分和  个成对排序的数据样本，用于图像理解评估学习。从这个数据集中，我们分别选择  个样本用于成对排序和逐点评分学习。视频生成。VideoDPO [29] 包含  个合成视频对，用于文本到视频模型的直接偏好优化（DPO，Direct Preference Optimization）。我们直接使用这个数据集进行视频生成中的成对排序学习。LiFT-HRA [40] 和 VideoFeedback [9] 为合成视频的逐点评分提供了大量的人类反馈，我们直接将其纳入我们的工作。视频理解。ShareGPTVideo-DPO [53] 包含  个视频理解的直接偏好优化数据，其中一对响应中的每个响应都被赋予一个评估分数。我们直接使用这些成对数据进行成对排序学习，同时提取单个响应的分数用于逐点评分学习。

对于成对排序数据集，我们将答案格式标准化为“图像/视频/回复  比图像/视频/回复 Y 更好”，其中“X”和“Y”代表分配的索引。如果数据集包含评估理由 ，我们会保留这些理由，以便模型能够从人类的推理中学习。对于逐点评分，我们不强制要求统一的回复格式或评分范围，允许模型从不同数据集中多样的评分风格和评分系统中学习。为确保评估标准与回复一致，我们会相应地调整指令提示。提示模板见附录 C。

如图 3 所示，与其他任务相比，视频生成成对排序评估的训练数据相对有限，但我们认为多任务学习的协同效应可以缓解这一不足。总体而言，我们的数据集提供了丰富多样且全面的人类偏好集合，涵盖了图像和视频理解/生成任务中的成对排序和逐点评分。这使得奖励模型能够进行有效的训练，确保在多模态理解和生成应用中表现稳健，后续章节将对此进行介绍。

2.2. 统一偏好学习

基于综合数据集，我们对一个具有强大视觉理解能力的预训练视觉语言模型（VLM）[21]进行微调，以开发UNIFIEDREWARD，并在各种视觉任务中对其进行联合训练。我们并非从头开始学习评估，而是将评估能力作为一项额外的判别技能进行整合，利用模型现有的视觉理解能力来提升其在各种任务中的评估性能。

图2（上）展示了我们的训练过程。具体而言，对于多模态生成评估，我们的模型将视觉标记、指令输入和一段描述作为输入。相比之下，对于多模态理解，描述会被一个问题及相应的回答所取代，使输入格式与各自的任务要求相匹配。模型经过训练，可根据指令提示中指定的标准预测逐点得分或成对排名。如果训练数据包含理由说明，模型还会被训练生成详细的解释以支持其评估结果。在训练过程中，优化目标是标准的交叉熵损失，但仅在模型预测的答案上进行计算。

在训练完我们的统一奖励模型（UNIFIEDREWARD）后，我们利用它在多模态理解和生成模型中进行偏好对齐。这个过程包括两个连续的步骤：偏好数据构建和生成/理解模型对齐。以下各节将详细解释每个步骤。

3. 偏好数据构建

偏好对齐数据的质量直接决定了模型对齐的有效性。现有方法通常局限于单一的评估策略，要么为模型输出分配成对排名，要么分配逐点分数来构建偏好数据。相比之下，这项工作利用了统一奖励模型（UNIFIEDREWARD）的成对排名和逐点评分能力，实现了一个更高质量的偏好数据构建流程，如图2（左下角）所示。

具体而言，我们的流程包括三个连续步骤：（1）数据生成。给定一个图像/视频 - 问题对（或生成提示），视觉语言模型（VLM，Visual Language Model）（或扩散模型）会生成多个候选输出 。这些输出构成后续偏好数据筛选的初始池。（2）成对排序。给定  个输出，我们将它们分组为  对，并使用我们的模型对每一对进行成对排序。然后，我们将这些排序后的对分为入选列表  和落选列表 。（3）得分筛选。最后，我们使用我们的模型为入选列表和落选列表中的所有输出分配逐点得分。最终的偏好数据对确定如下：

其中  表示我们的模型给出的逐点得分， 是最受偏好的输出， 是最不受偏好的输出。

通过结合成对排序和逐点评分，最终的偏好数据可以提供高质量且可靠的偏好信号，有效捕捉相对比较和绝对质量评估。

4. 生成/理解模型对齐

在构建偏好数据后，我们利用这些数据，使用直接偏好优化（Direct Preference Optimization，DPO）方法进行多模态生成和理解模型的对齐。该方法使模型能够在无需显式奖励建模的情况下，将其输出与人类偏好对齐，直接基于排序后的偏好对进行优化。

4.1. 用于多模态生成的直接偏好优化（DPO）

对于多模态生成任务，扩散模型 [12] 因其在图像和视频合成中生成高质量、多样化输出的强大能力而被广泛使用。因此，我们将直接偏好优化（DPO）应用于扩散模型，使其输出与人类偏好对齐。

给定构建的偏好对数据集   ，其中  和  分别表示更受偏好的生成样本和较不受偏好的样本， 表示样本数量。我们按照文献 [38] 的方法，通过比较微调模型和预训练参考模型之间的噪声预测差异来优化扩散模型：

其中  和  分别是在时间步  从  和  导出的含噪隐变量。 和  分别表示从微调后的和预训练的参考扩散模型预测出的噪声。 是一个控制优化强度的温度超参数， 是逻辑函数， 表示信噪比， 是一个加权函数，在本工作中被视为一个等于  的常数。

这种损失促使微调后的扩散模型减少对较优样本的去噪误差，同时增加对较劣样本的去噪误差，从而提高生成质量。

4.2. 多模态理解的直接偏好优化（DPO）

与生成对齐类似，我们应用直接偏好优化（DPO）来调整多模态理解模型（即视觉语言模型，VLMs）的响应偏好。给定一个输入（例如，一个图像/视频 - 问题对），以及来自偏好对数据集的较优响应和较劣响应，优化公式如下：

其中，和分别是微调模型和预训练参考模型下的响应概率。是一个控制优化敏感度的温度超参数。

这种损失促使微调后的视觉语言模型（VLM）增加生成更受青睐回复的可能性，同时降低生成较不受青睐回复的可能性，从而使模型更符合人类偏好并提高推理质量。

实验与结果

1. 实验设置

1.1. 模型与设置

奖励模型：我们采用预训练的LLaVA - OneVision 7B（OV - 7B）[21]作为UNIFIEDREWARD的基础架构，利用其在图像和视频理解方面的强大性能。训练时的批量大小为2，梯度累积步数为16，学习率为，热身比例为0.3。

多模态理解直接偏好优化（Multimodal Understanding DPO）：基于统一奖励模型（UNI-FIEDREWARD），我们分别将直接偏好优化（DPO）应用于LLaVA-OneVision 7B [21]和LLaVA-Video [55]，以提升它们在图像和视频理解方面的性能。我们使用的批量大小为1，梯度累积步数为16，学习率为，并设置。

多模态生成直接偏好优化（Multimodal Generation DPO）：对于图像和视频生成的直接偏好优化，我们分别使用SDXL-Turbo [32]和T2V-Turbo [22]。参数设置为5000，SDXL-Turbo的批量大小为32，T2V-Turbo的批量大小为16。

我们为视频生成直接偏好优化构建了条偏好数据，为其他任务的直接偏好优化构建了条偏好数据。候选输出数量设置为10。所有模型均训练3个轮次。

1.2. 评估

多模态理解：我们分别在VLRewardBench [23]和ShareGPTVideo [53]（用于测试的1000个样本）上评估了UNIFIEDREWARD的图像和视频理解能力。

多模态生成：GenAI-Bench [16]包含图像和视频生成奖励基准，我们使用了这些基准。此外，我们还采用VideoGen-RewardBench [28]作为视频生成评估基准。

数据保护官（DPO）：在图像理解方面，采用了LLaVA评测基准（LLaVABench）[27]、野生视觉评测基准（Wild-Vision）[31]、更广泛的LLaVA评测基准（LLaVABench-Wilder）[19]、实时评测基准（LiveBench）[41]和多模态人类评估基准（MMHal）[35]。在视频理解方面，我们采用了微软视频描述数据集（MSRVTT）[45]、微软视频描述小型数据集（MSVD）[10]、动图数据集（TGIF）[25]、长视频评测基准（LongVideoBench）[42]、多语言视觉理解数据集（MLVU）[56]和视频多模态评估基准（VideoMME）[5]。在图像生成评估方面，我们根据Partiprompt [48]和HPSv2 [43]评测基准中的描述（分别有1632条和3200条描述）生成图像，并利用图像奖励模型，即PickScore [17]、HPDv2 [43]和图像奖励模型（ImageReward）[46]进行质量评估。VBench [14]用于视频生成评估。

2. 奖励模型比较结果

图像理解。我们将我们的方法与最新的开源模型LLaVA - 批评者（LLaVA - Critic）[44]以及两个闭源模型双子座1.5专业版（Gemini - 1.5 - Pro）[37]和GPT - 4o [15]进行了比较。

表3所示的实验结果表明，我们的方法在大多数指标上都优于最佳基线，例如宏观准确率（66.5%对62.5%），这证明了我们的方法在图像理解评估方面的优越性。对于视频理解，据我们所知，目前没有可用的基线。因此，我们探索多任务学习在视频理解评估中的有效性，这将在下一节中进行分析。在图像生成评估中，我们将我们的方法与传统方法和最先进的方法进行了比较，包括PickScore [17]、HPSv2 [43]、图像奖励（ImageReward）[46]和视觉奖励（VisionReward）[47]。结果见表5。

值得注意的是，最新的工作视觉奖励（VisionReward）支持图像和视频生成的奖励建模。然而，它使用各自的数据集为每个任务训练单独的模型，而我们的方法在统一框架内联合学习多个任务，从而取得了相对更好的性能。对于视频生成，我们将我们的方法与最新的方法进行了比较，包括视频评分（VideoScore） [9]、提升特征转换（LiFT） [40]、视觉奖励（VisionReward） [47] 和视频奖励（VideoReward） [29]。其中，视频评分（VideoScore）是一种用于视频生成的评估模型，而其他的则是奖励模型。如图3所示，我们用于视频生成评估的训练数据相对有限。然而，如表5所示，与所有基线方法相比，我们的方法在所有指标上都表现出色，这表明多任务学习不仅缓解了训练数据不足的问题，还提高了视频生成评估的学习效果。

基线方法和基准测试的更多细节见附录A。

2.1. 多任务评估学习

在这项工作中，我们直观地认为视觉任务本质上是相互关联的，联合学习多个视觉任务可能会产生相互强化的效果。因此，我们探索了多任务学习在奖励模型上的有效性。具体而言，对于每个任务，我们采用不同的训练数据配置来训练模型，研究跨不同模态（图像和视频）和任务（理解和生成）进行联合学习的影响。例如，对于图像理解任务，我们设计了三种训练配置来研究多任务学习的影响：（1）仅对图像理解评估进行训练；（2）联合学习图像理解和图像生成评估；（3）联合学习图像理解和视频理解评估。结果见表3。值得注意的是，我们的研究结果表明，与单任务训练相比，多任务学习显著提高了模型的整体性能。例如，与仅对图像理解进行训练相比，联合训练图像和视频理解任务分别将整体准确率和宏观准确率提高了和。其他任务的结果见表4和表5，这些结果一致证明了联合学习的有效性。这些结果凸显了利用不同视觉任务间共享知识的益处，从而得到一个更稳健、更具泛化能力的奖励模型。

3.直接偏好优化（DPO）比较结果

为了进一步证明我们的方法在图像和视频理解与生成任务中的有效性，我们将其应用于通过细粒度输出筛选进行偏好数据构建，然后利用这些数据通过直接偏好优化（DPO）进行模型对齐。

图像理解。我们通过采用与最新奖励模型LLaVA-Critic相同的图像 - 问题对来源，即LLaVA-RLHF [34]，为OV - 7B构建偏好数据，从而将我们的方法与该模型进行比较，以确保公平对比。

表7中呈现的结果表明，使用我们方法的直接偏好优化（DPO）在所有基准测试中始终优于LLaVA-Critic。例如，我们的方法在LLaVABench上实现了3.4%的提升，凸显了其卓越的有效性。视频理解。我们从ShareGPTVideo - DPO [53]中提取提示，为LLaVA - Video - 7B [55]构建偏好数据，该数据与LLaVA - Houd - DPO [52]共享相同的视频 - 问题对来源。为评估有效性，我们将基于统一奖励（UNI - FIEDREWARD）的直接偏好优化（DPO）与Houd - DPO和最新的目标偏好优化（TPO）[24]进行比较。

表6中呈现的结果证明了我们方法的优越性。值得注意的是，我们的方法在微软视频描述数据集（MSRVTT）、微软视频描述基准数据集（MSVD）和

图4. 视频生成定性比较。我们比较了T2V-Turbo、基于VideoDPO的直接偏好优化（Direct Preference Optimization，DPO）方法和基于我们方法的直接偏好优化（DPO）的性能。

图5. 图像生成定性比较。我们比较了SDXL-turbo、在Pick-a-Pic数据集上的直接偏好优化（DPO）方法和基于我们方法的直接偏好优化（DPO）的性能。

结论

本文提出了UNIFIEDREWARD，这是首个用于多模态理解和生成评估的统一奖励模型，能够处理成对排序和打分，可用于视觉模型偏好对齐。具体而言，我们首先在构建的大规模、涵盖广泛视觉任务的综合数据集上对预训练的视觉语言模型（VLM）进行微调，以开发UNIFIEDREWARD。然后，通过详细的过滤过程，包括成对排序和分数筛选，利用该模型从视觉模型的输出中自动构建高质量的偏好对数据。随后，通过直接偏好优化，将这些数据用于模型偏好对齐。我们的实验结果表明，跨不同视觉任务的联合学习能产生显著的互利效果。通过将我们的流程应用于图像和视频理解与生成任务，我们在每个领域都取得了显著的改进。