LaKo: Knowledge-driven Visual Question Answering via Late Knowledge-to-Text Injection

本文是LLM系列文章，针对《LaKo: Knowledge-driven Visual Question Answering via Late Knowledge-to-Text Injection》的翻译。

摘要

视觉问答（VQA）通常需要理解视觉概念和语言语义，这依赖于外部知识。大多数现有的方法利用预先训练的语言模型或/和非结构化文本，但这些资源中的知识往往是不完整和嘈杂的。其他一些方法更喜欢使用知识图谱，因为知识图谱通常具有密集的结构化知识，但研究仍处于初步阶段。在本文中，我们提出了LaKo，一种通过后期知识到文本注入的知识驱动的VQA方法。为了有效地结合外部KG，我们将三元组转换为文本格式，并提出了一种用于知识融合的后期注入机制。最后，我们将VQA作为一个具有有效编码器-解码器范式的文本生成任务，它在OKVQA数据集上实现了最先进的结果。

1 引言

2 相关工作

3 方法

4 实验

5 讨论与未来工作

• 给定(𝑣, 𝑞) 对，有时在现实世界中有几个正确的答案，但基于生成的方法一次只得到一个答案，而不是对那些潜在的答案进行排序。考虑用特定策略生成多个答案是一个有趣的方向，其中基于trie的搜索策略可以考虑生成答案对候选者的域约束。
• VQA上KG驱动的零样本问题也值得进行更深入的研究，以进一步讨论PLM和KG之间的权衡，这需要模型对现实世界场景具有更好的泛化能力。
• 我们相信，随着更好的知识表示学习方法和高质量的知识注释的发布，VQA领域的可微KG检索器在未来将是可行的。

6 结论