smile909的博客

动机基于视频的对话系统(VGDS)允许AI引擎“观察”（（即理解一个视频）和“对话”（即，在一个对话中交流理解）。具体地说，给定一个视频，由一系列QA对组成的对话历史，以及一个关于视频的后续问题，目标是推断一个自由形式的自然语言回答问题。近年来，基于视频的对话系统被提出来推进VQA以基于视频与人类进行有意义的对话。虽然最近的努力在提高反应的质量方面取得了很大的进展，但业绩仍然远远不能令人满意。目前的VGDS仍然面临以下两个挑战：（1）如何推导多模态间的指代关系；（2）如何在具有复杂时空动态的视频丰富的

AAAI 2021 Self-supervised Pre-training and Contrastive Representation Learning for Multiple-choice Video QA动机视频问答（Video QA）需要对视频和语言模态的细粒度理解来回答给定的问题。与以往在视频问答中所做的工作（侧重于提取QA感知的视觉信息）相比，在本工作中，作者不仅关注多模态表征的学习，而且关注能够利用给定数据集的额外优势的训练过程，这样就可以最大限度地利用给定的数据。自监督学习的