Multi-level Knowledge Injecting for Visual Commonsense Reasoning

最新推荐文章于 2024-10-04 16:18:39 发布

原创

最新推荐文章于 2024-10-04 16:18:39 发布 · 439 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

本文介绍了一种名为CKRM的框架，旨在解决计算机视觉推理中的常识缺乏和多步推理能力不足的问题。CKRM包含多级知识迁移网络和基于知识的推理两部分，通过从文本推理数据集学习常识，并在VCR任务中应用这些知识。方法包括细胞级、层级和注意力级的知识转移，以及结合图像特征和转移知识进行推理。

背景

本篇的工作来自北大彭宇新组，论文被TCSVT接收

摘要

题为多级知识注入的VCR方法，作者认为计算机在推理方面弱势是由于：
（1）计算机不具备人类日积月累的各种常识
（2）计算机不具备认知级别的多步推理能力
针对以上两点，作者提出的CKRM网络分别包括多级知识迁移网络Multi-level knowledge transfer network和基于知识的推理Knowledge based reasoning两个模块来解决上述问题。

方法

Multi-level knowledge transfer network
多级知识迁移网络，多级知识迁移器分别是：
Cell-level Transfer、Layer-level Transfer、Attention-level Transfer
从知识迁移字面理解，不难得知作者使用的是迁移学习的手段，通过从源域学习到知识（视为是常识）来用于目标域中（即VCR任务中）。源域任务使用的是文本推理数据集SWAG（通过给定一个上下文，模型选择一个合适的结尾来描述接下来要发生事），任务形式如下：（正确答案已经黑体标出）
在这里插入图片描述