OAD-Promoter: Enhancing Zero-shot VQA using Large Language Models with Object Attribute Description

文章总结与翻译

一、主要内容

本文聚焦大语言模型（LLMs）在视觉问答（VQA）任务中存在的语言偏见和分布外（OOD）泛化能力不足两大核心问题，提出了一种名为OAD-Promoter（Object Attribute Description Promoter） 的零样本VQA方法。该方法通过三个核心模块协同工作，增强LLMs的视觉信息输入、补充记忆知识辅助，并优化提示词设计，从而缓解语言偏见、提升领域迁移鲁棒性。

核心模块功能

1. 目标聚焦示例生成模块（OEG）：利用BLIP2生成全局图像描述，通过VinVL生成目标属性聚焦的区域描述，再结合预训练T5-large模型生成合成问答对，形成目标聚焦示例。该模块通过多粒度视觉信息补充，减少LLMs对语言偏见的依赖。
2. 记忆知识辅助模块（MKA）：通过普通VQA模型和偏置QA模型的预测结果判断输入问题的语言偏见倾向，再基于余弦相似度从存储的目标聚焦示例中选择适配的辅助样本（相似样本或反相似样本），为LLMs提供分布外场景的知识支持。
3. OAD提示词（OAD Prompt）：整合OEG模块的视觉描述、MKA模块的辅助示例、全局描述和输入问题，为LLMs提供全面的推理依据，随推理过程动态积累记忆示例，持续提升领域迁移能力。

实验验证

在OKVQA、A-OKVQA、VQAv2、VQA-CP、GQA-OOD五大基