Drug discovery

多模态融合能够充分利用各模态之间的互补优势，将来自不同模态的信息整合成一个稳定且全面的多模态表征。表征学习通过从原始数据中自动提取各模态有效特征，生成稳定全面的多模态表征。表征学习（Representation Learning） ≈ 向量化（Embedding）

现有的多模态预训练模型都跳不出这两种结构，更多的多模态预训练模型在预训练任务上下功夫、引入更多的预训练任务，设计统一的架构去训练所有的任务等等。除此之外，图片的embedding也有会不同的方式。多模态预训练模型按照模型结构可以分为单流和双流两种结构。

CLIP（Contrastive Language–Image Pre-training）是一个由OpenAI开发的。它旨在通过对大量的图像和与之对应的文本数据进行对比学习，来理解图像和文本之间的关系。CLIP模型通过这种方式训练，可以在没有特定任务训练的情况下，对于多种视觉任务展现出良好的泛化能力。这家伙有什么用呢?想象一个咱们训练图像分类的场景训练1000个类别，预测就是这1000个类别的概率，无法拓展新增类别还得重新训练重新标注太麻烦了，能不能一劳永逸呢？

多模态信息融合研究：多模态融合fusion的各种操作：

【多模态图像合成与编辑】Multimodal Image Synthesis and Editing:A Survey