Quantifying and Mitigating Unimodal Biases in Multimodal Large Language Models: A Causal Perspective

本文是LLM系列文章，针对《Quantifying and Mitigating Unimodal Biases in Multimodal Large
Language Models A Causal Perspective》的翻译。

摘要

大型语言模型（LLM）的最新进展促进了多模态LLM（MLLM）的发展。尽管MLLMs具有令人印象深刻的能力，但它们往往过度依赖单一模式的偏见（如语言偏见和视觉偏见），导致在复杂的多模态任务中出现错误答案。为了研究这个问题，我们提出了一个因果框架来解释视觉问答（VQA）问题中的偏见。在我们的框架内，我们设计了一个因果图来阐明MLLMs对VQA问题的预测，并通过深入的因果分析评估偏差的因果效应。受因果图的启发，我们引入了一个新的MORE数据集，由12000个VQA实例组成。该数据集旨在挑战MLLM的能力，需要多跳推理和克服单峰偏差。此外，我们提出了两种策略来减轻单峰偏差并增强MLLM的推理能力，包括用于有限访问MLLM的分解验证-应答（DeVA）框架和通过微调来细化开源MLLM。广泛的定量和定性实验为未来的研究提供了宝贵的见解。我们的项目页面位于https://opencausalab.github.io/MOR