反事实VQA论文阅读

原创

已于 2022-11-11 13:43:25 修改 · 747 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读

于 2022-11-04 10:33:08 首次发布

反事实VQA

数据集：VQA-CP，用于评估VQA模型的泛化能力。训练和测试数据分布不同。
弱化语言先验：使用单独的QA模块，在对抗训练或多任务学习中捕获语言先验。
如何在有偏训练下完成无偏的推断
基于语言先验的方法使用了一个单独的分支来学习语言先验，在测试时不使用该分支。这样的做法无法充分利用语言先验中的“好”的知识？

介绍和相关工作

简单地排除额外的分支不能利用良好的上下文。事实上，对于最近的去偏VQA方法来说，从整体中分离出好的和坏的仍然具有挑战性。
传统的VQA无法解开单模态语言相关性和多模态推理，即直接和间接影响。
语言偏差可以通过估计Q对A的直接因果效应，即纯语言效应来识别。
本文的主要贡献有三个方面。首先，我们的反事实推理框架是第一个将VQA中的语言偏差表述为因果效应的框架。其次，我们为最近的去偏VQA工作提供了一种基于因果关系的新型解释。第三，我们的因果关系是通用的，适用于不同的基线VQA架构和融合策略。