图文检索综述（1）：Vision + X: A Survey on Multimodal Learning in the Light of Data

---

发布时间（2022）

---

标题：数据角度看多模态

视觉数据相对于文本数据而言，更加原始，冗余信息更多，而文本数据本身已经包含语义。需要设计“特殊的表示学习”和“针对于任务的方法”，来解决其复杂性

数据内在的性质和技术之间的关系
任务形式
1）caption
单个或多个句子，描述视觉内容
2）dialogue
句子之间具有交互性
3）视觉问答

训练方式
监督表示学习：[65], [300]
1）两阶段方法：模态内部特征获取，然后特征交互
[151], [167], [263]
2）端到端方法：
[10], [258]

无监督：比如聚类
弱监督：部分标注或不精确标注
自监督：两种类型。一种比如自编码器，将图像或文本编码成向量，然后利用解码器恢复；另一种比如对比学习，图像通过数据增强来训练（这种对比学习利用的就是数据内在的同步性/不变性）
[192], [290],[319]

判别式应用
多模态检索。另一个被广泛研究的多模态判别任务是检索 [47]、[88]、[255]、[256]、[266]、265、[311]。大多数检索工作都是通过测量从不同模态学习到的表征之间的相似性来对表征空间进行操作。因此，检索任务也是表征学习工作中最常用的下游任务之一。

摘要

我们以多感官的方式感知世界并与世界