Strengthening Multimodal Large Language Model with Bootstrapped Preference Optimization

本文是LLM系列文章，针对《Strengthening Multimodal Large Language Model with Bootstrapped Preference Optimization》的翻译。

摘要

多模态大型语言模型（MLLMs）擅长基于视觉输入生成响应。然而，他们往往倾向于生成与预训练语料库相似的反应，从而掩盖了视觉信息的重要性。我们将这种偏差视为对统计数据进行预训练的“偏好”，这阻碍了模型在视觉输入中的基础。为了缓解这个问题，我们提出了自举偏好优化（BPO），它使用包含从模型本身自举的负面响应的数据集进行偏好学习。具体来说，我们提出了以下两种策略：1）使用MLLM的失真图像输入来引发包含所指预训练偏差的反应；2） 利用基于文本的LLM将错误但常见的元素显式地注入到原始响应中。将这些不期望的响应与来自数据集的原始注释响应配对，以构建偏好数据集，随后将其用于执行偏好学习。我们的方法有效地抑制了预训练的LLM偏差，增强了视觉输入的基础。广泛的实验表明，在多个基准测试中，性能有了显著提高，推动了多模态会话系统的发展。

1 引言

2 相关工作

3 扩展偏好数据集生成