（四十九）：UNIMO: Towards Unified-Modal Understanding and Generation via Cross-Modal Contrastive Learning

• 出处：ACL/IJCNLP (1) 2021: 2592-2607
• 代码：https://paperswithcode.com/paper/unimo-towards-unified-modal-understanding-and
  或者https://github.com/PaddlePaddle/ Research/tree/master/NLP/UNIMO
• 题目：UNIMO:通过跨模态对比学习实现统一模态理解和生成
• 主要内容：UNIMO，一个统一模态的前训练体系结构，利用大规模的非配对文本语料库和图像集合进行跨模态学习。

Abstract

现有的预训练方法要么侧重于单模态任务，要么侧重于多模态任务，不能有效地相互适应。它们只能使用单模态数据(即文本或图像)或有限的多模态数据(即图像-文本对)。
在这项工作中，我们提出了一个统一模态的训练前架构，即UNIMO，它可以有效地适应单模态和多模态的理解和生成任务。
大规模的自由文本语料库和图像集合是用来改善视觉和文本理解的能力,和跨通道对比学习(CMCL)是利用对齐文本和视觉信息到一个统一的语义空间,在语料库的图像文字对增强相关图片和文字。
在丰富的非配对单模态数据的帮助下，我们的模型能够学习更一般化的表示，允许文本知识和视觉知识在统一的语义空间中相互增强。实验结果表明，UNIMO大大提高了多个单模态和多模态下游任务的性能。

1 I