多模态学习经典论文总结

多模态学习经典论文总结

整理日期：2026年4月

---

目录

1. 早期探索：CNN + RNN 时代
2. 视觉-语言预训练 (VLP)
3. 对比学习时代：CLIP
4. 统一理解与生成：BLIP 系列
5. 大型多模态模型 (LMM)
6. 多模态融合方法
7. 最新研究进展与趋势

---

1. 早期探索：CNN + RNN 时代

1.1 Show and Tell (Neural Image Caption Generation)

信息	内容
论文	Show and Tell: A Neural Image Caption Generator
作者	Oriol Vinyals, et al. (Google)
年份	2015
会议	CVPR
核心贡献	首次将深度学习引入图像描述生成，提出编码器-解码器架构
方法	CNN (编码图像) + RNN (生成文本)
影响	开创了图像 Captioning 任务的研究热潮

1.2 Show, Attend and Tell (Attention Mechanism)

信息	内容
论文	Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
作者	Kelvin Xu, et al. (Google DeepMind)
年份	2016
会议	ICML
核心贡献	首次将注意力机制引入图像描述生成
方法	使用 soft attention 让模型关注图像的不同区域
影响	注意力机制成为多模态建模的核心技术

1.3 VQA (Visual Question Answering)

信息	内容
论文	VQA: Visual Question Answering
作者	Stanislaw Antol, et al.
年份	2015
会议	ICCV
核心贡献	提出 VQA 任务，衡量模型理解图像并回答问题的能力
方法	CNN + LSTM + Attention
影响	VQA 成为多模态理解的重要基准任务

---

2. 视觉-语言预训练 (VLP)

2.1 UNIMO (Unified-Modal Pre-training)

信息	内容
论文	UNIMO: Unified-Modal Pre-training with Cross-Modal Knowledge Transfer
作者	Wei Lun, et al. (Microsoft)
年份