十、多模态大语言模型（MLLM）

1 多模态大语言模型（Multimodal Large Language Models）

• 模态的定义
  模态（modal）是事情经历和发生的方式，我们生活在一个由多种模态(Multimodal)信息构成的世界，包括视觉信息、听觉信息、文本信息、嗅觉信息等
• MLLMs的定义
  由LLM扩展而来具有接收和推理多模态信息能力的模型

2 模型概念区分

• 跨模态模型
• 单模态大模型
• 多模态模型
• 多模态语言大模型

跨模态模型

单模态大模型

多模态大模型

多模态大语言模型

3 多模态的发展历程

四个关键里程碑
1 Vision Transformer(ViT)
图片格子的线性映射

DL

Mask Image Modeling 无监督图像特征学习

2 基于transformer架构的图像-文本联合建模

3 大规模 图-文 Token对齐模型CLIP
通过余弦距离将文和图转换至同一向量空间。将图像的分类闭集引入至开集

from transformers import CLIPProcessor, CLIPModel
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

from IPython.display import Image, display
display(Image(filename="bus.jpg"))

from PIL import Image
image = Image.open("bus.jpg")
cls_list = ["dog", "woman", "man", "bus", "truck","person",
            "a black truck", "a white truck", "cat"]
input = processor(text=cls_list, images<