深度学习扩展-优快云博客

ViT（Vision Transformer）

——把图片离散化为一排向量

将图片拆为若干patch，每个patch可以看作一个字，再加上位置信息就可以输入到transformer中。

ViT的核心是将图像视为一系列局部块的序列（类似自然语言中的单词），通过Transformer的全局自注意力机制捕捉图像中的长距离依赖关系。其关键步骤如下：

图像分块（Image Patching）
将输入图像（如224×224）分割为固定大小的非重叠块（例如16×16像素），每个块展平为向量。例如，224×224的图像会生成196个（14×14）块。

线性嵌入（Linear Projection）
每个图像块通过线性变换（全连接层）映射为嵌入向量（即“Patch Embedding”），形成输入序列。

位置编码（Positional Encoding）
为保留空间信息，为每个嵌入向量添加可学习的位置编码，使模型感知块的位置关系。

Transformer Encoder处理
输入序列（加上[CLS]分类标记）经过多层Transformer Encoder，通过多头自注意力机制和前馈网络提取特征。

分类输出
最终使用[CLS]标记对应的特征向量进行图像分类。

多模态

一些任务，需要图片信息、文字信息、声音信息等，其中的两种或两种以上共同决定出结果。bert模型/transformer架构很适合多模态。多模态模型有以下：

ViltBert

1、预训练参数：拿图片和文字进行预训练

2、在预训练中考虑了很多图片和文字之间的交互

3、MLM（Masked Language Modeling）

MLM（Masked Language Model，掩码语言模型）是自然语言处理（NLP）中的一种语言建模技术，特别用于训练深度学习模型，如BERT（Bidirectional Encoder Representations from Transformers）等。它通过“掩码”部分输入句子的词语，然后让模型预测这些被掩码的词，以此进行训练。

MLM的基本思想是通过对文本进行掩码操作，迫使模型学习和理解上下文信息。在训练过程中，输入句子的某些单词被随机“掩码”（通常是用一个特殊符号，如[MASK]），然后模型通过上下文预测这些被掩码的词是什么。

4、Word Patch Alignment

"Word Patch" 这个术语通常出现在多模态学习中，尤其是在处理图像和文本数据时。在这种场景下，图像可以被分割成多个小的区域（称为 "patch"），每个区域代表图像中的某一部分内容。而 "word patch" 指的是文本中某些单词或短语，它们在某种程度上与图像的某一部分相关联。

"Alignment"（对齐）指的是确保图像中的每个 patch 和文本中的相关单词或短语之间存在一种对应关系。例如，在视觉问答（VQA）任务中，模型需要通过对齐图像的局部区域和问题中的单词，以便做出准确的回答。

ALBEF

ALBEF 是一种多模态预训练模型，全称为 Align before Fuse，由阿里巴巴达摩院提出。它结合了文本和图像两种模态的信息，在多模态任务中表现出色，例如图文检索、视觉问答（VQA）、图像描述生成等。

ALBEF 的核心设计理念是 "先对齐，再融合"（Align before Fuse）。具体来说：

对齐（Align）：通过对比学习（contrastive learning），将图像和文本映射到一个共享的语义空间中，使它们能够相互理解。
融合（Fuse）：在对齐的基础上，进一步结合图像和文本的特征，进行更复杂的下游任务。