Transformer——Q104 视觉Transformer中Patch Embedding的参数量计算（图像尺寸 H×W，Patch大小 P）

原创

已于 2025-05-21 12:16:06 修改 · 3.2k 阅读

39 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #深度学习 #人工智能 #架构变体 #跨模态扩展

于 2025-05-21 12:15:10 首次发布

该问题归类到Transformer架构问题集——架构变体——跨模态扩展。请参考LLM数学推导——Transformer架构问题集。

1. 背景知识：视觉 Transformer 与 Patch Embedding 的诞生逻辑

视觉 Transformer（ViT）是 Transformer 架构在计算机视觉领域的延伸。传统卷积神经网络（CNN）通过局部卷积操作提取图像特征，而 Transformer 的自注意力机制能捕捉全局依赖关系。但直接将 Transformer 应用于图像面临严峻挑战：一幅 $224 \times 224 \times 3$ 的图像包含 150,528 个像素，若将每个像素视为一个 “词”，序列长度极长，计算量呈指数级增长，超出硬件处理能力。

为解决这一问题，ViT 提出将图像分割为多个固定大小的 Patch（块）。每个 Patch 作为一个 “视觉词”，大幅缩短序列长度。例如，将 $224 \times 224$ 的图像分割为 $16 \times 16$ 的 Patch，仅需 $14 \times 14 = 196$ 个 Patch，使 Transformer 能够高效处理图像数据。Patch Embedding 的核心任务，就是将这些 Patch 转化为适合 Transformer 处理的嵌入向量，而参数量计算是理解该模块复杂度与设计合理性的关键。