zengxiaojian2的博客

将图像划分为固定大小的 Patch（P×P将每个Patch 展平为 1D 向量。通过线性变换将1D 向量嵌入到 Transformer 的输入维度 DDD。这种方法的核心思想是将图像从 2D 表示转化为 1D 的序列表示，从而使 Transformer 模型能够处理图像数据。相比 CNN，ViT 的 Patch 生成更简单直接，但依赖于 Transformer 的全局建模能力。Patch 的大小和嵌入维度是 ViT 的关键超参数，会显著影响模型的性能和计算复杂度。为什么每一个patch是一个p。

T) 将 Transformer 架构成功地应用于计算机视觉任务，通过将图像视为补丁序列并利用自注意力机制来捕捉全局特征。这种方法与传统卷积神经网络（CNN）相比，在大规模数据集上表现出色，但对数据量的需求较高。在小数据集上，CNN 通常表现更佳。NLP 中的 Transformer 则专注于处理文本数据，其结构和功能设计上更侧重于语言特性。