2025_NIPS_Guiding Cross-Modal Representations with MLLM Priors via Preference Alignment

文章核心总结与翻译

一、主要内容

该研究聚焦跨模态检索中的“模态间隙”问题（即视觉与文本特征表示的差异），提出了名为MAPLE（Modality-Aligned Preference Learning for Embeddings）的新型训练框架，核心是利用现成多模态大语言模型（MLLMs）的细粒度对齐先验知识，指导跨模态表示学习。

1. 问题背景：现有对比学习框架（如CLIP）虽在跨模态检索中表现出色，但模态间隙仍存在，限制了细粒度语义区分能力；而现成MLLMs本身具备强大的模态对齐能力，却未被有效用于检索模型优化。
2. 核心框架：
   • 偏好数据构建：通过离线硬样本挖掘与在线MLLM评分，自动生成 pairwise（成对）和 listwise（列表式）偏好数据；
   • 偏好对齐训练：基于直接偏好优化（DPO）改进，提出相对偏好对齐（RPA）损失，适配嵌入模型的训练场景，结合对比损失正则化避免特征坍缩。
3. 实验验证：在通用检索（COCO、Flickr30K）和细粒度检索（Winoground、NaturalBench等）基准测试中，MAPLE显著优于CLIP-based和MLLM-based基线模型，尤其在细粒度任务上提升明显。