qq_52588059的博客

视频问答（VideoQA）具有挑战性，因为它需要建模能力来提取动态视觉元素、远距离关系，并将它们与语言概念关联起来。我们引入了一个通用的可重用神经单元，称为条件关系网络（CRN），作为构建用于视频表示和推理的更复杂结构的基础模块。CRN以张量对象数组和一个条件特征作为输入，并计算编码后的输出对象数组。模型构建变成了复制、重新排列和堆叠这些可重用单元的简单练习，用于多样化的模态和上下文信息。因此，这种设计支持高阶关系和多步推理。

知识图谱驱动的多模态学习多模态知识图谱首先，文章将分别提供知识图谱和多模态知识图谱的形式化定义，并探讨它们的构建过程。接着，文中详细讨论了知识图谱驱动的多模态学习在图像分类和视觉问答等任务中的应用。此外，也对多模态知识图谱的相关任务进行了阐述，如多模态知识图谱的构建和实体对齐等。最后，文章提供了这些研究任务的定义和评估基准，并概述了进行这些研究的基本见解。文章首先提出文献第一类类似于条件反射。