Swin Transformer中的PatchEmbed原理及代码说明

最新推荐文章于 2025-10-22 16:52:04 发布

原创

最新推荐文章于 2025-10-22 16:52:04 发布 · 4.6k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #python

该博客介绍了如何使用PyTorch实现图像到块嵌入的过程，首先通过4x4的块大小将图像分块，然后应用线性编码（2d卷积）将每个块映射到任意维度，最后进行特征的拉平和维度交换，以准备输入到后续的神经网络模型中。

1.分块patch partition

use a patch size of 4 × 4 and thus the feature dimension of eachn patch is 4 × 4 × 3 = 48

在这里设置了4 × 4× 3的块的大小，原始图像被分成维度为4 × 4 × 3 = 48的小块。

2.线性编码linear embedding

A linear embedding layer is applied on this raw-valued feature to project it to an arbitrary dimension (denoted as

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

白话先生NIT

关注关注

3
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Transformer——patch embedding代码

qq_42740834的博客

05-27

8424

简单版ViT（无attention部分）主要记录一下Patch Embedding怎么处理和了解一下vit的简单基本框架，下一节写完整的ViT框架图像上的Transformer怎么处理？如图图片—>分块patch---->映射（可学习）---->特征整体网络结构：实践部分： Patch Embedding用于将原始的2维图像转换成一系列的1维patch embeddings Patch Embedding部分代码： class PatchEmbedding(nn.Modu

Transformer——Q104 视觉Transformer中Patch Embedding的参数量计算（图像尺寸 H×W，Patch大小 P）

墨顿随笔

05-21

3243

Patch Embedding 作为视觉 Transformer 的关键模块，通过固定 Patch 划分与线性映射，实现了图像特征向语义嵌入的高效转换。其参数量公式体现了模型对计算效率与特征表达的平衡追求。尽管固定 Patch 存在细节损失与多尺度适应性差等问题，但通过动态 Patch、卷积融合、分层设计等优化策略，可显著提升模型性能。实际应用中，需结合任务需求（如医疗图像的细节敏感型任务或遥感图像的多尺度任务），灵活调整 P 和 D，并借助代码实现精细调优。

参与评论您还未登录，请先登录后发表或查看评论

PatchEmbed

东方佑

06-01

1203

PatchEmbed是用于计算机视觉任务的神经网络层，特别是在Vision Transformer (ViT) 模型中使用。它负责将输入的图像分割成固定大小的图像块（patches），并将这些图像块线性嵌入到高维空间中。这是Vision Transformer处理图像的方式，它不像传统的卷积神经网络那样使用卷积层，而是通过这种分割和嵌入的方式来处理图像。具体来说，PatchEmbedH x W x CHWCCP x P x CP x P x CP*P*C。

【完整源码+数据集+部署教程】【天线＆空中农业】杂草检测系统源码＆数据集全套：改进yolo11-SPPF-LSKA

热门推荐

lzzzzzzm的博客

02-14

1万+

Embedding Patched与Word embedding 文章目录系列文章目录前言一、pandas是什么？二、使用步骤 1.引入库 2.读入数据总结前言 VisionTransformer可以说火到不得不会的程度，而本人之前其实对NLP领域了解不是很多，在学习中，认为在VIT论文里比较值得学习的地方有两点，一个是对图片的预处理成image token的Embedding Patched，另一个则是Transformer模块里的多头注意力模块，这次先讲

Swin Transformer 结构&代码解析学习

lym823556031的博客

11-16

2044

详解Swin Transformer结构及代码

Swin Transformer原理与代码精讲

bai666ai的博客

04-12

3674

课程链接：Swin Transformer原理与代码精讲--计算机视觉视频教程-人工智能-优快云程序员研修院 Transformer在许多NLP(自然语言处理)任务中取得了最先进的成果。Swin Transformer是在ViT基础上发展而来，是Transformer应用于CV（计算机视觉）领域又一里程碑式的工作。它可以作为通用的骨干网络，用于图片分类的CV任务，以及下游的CV任务，如目标检测、实例分割、语义分割等，并取得了SOTA的成果。Swin Transformer获得了ICCV 2021的最佳.

【Swin Transformer原理和源码解析】Hierarchical Vision Transformer using Shifted Windows

qq_38253797的博客

12-02

2352

Swin Transformer

Swin transformer 论文阅读记录 & 代码分析

qq_42563807的博客

12-19

1473

该篇文章，是我解析 Swin transformer 论文原理（结合pytorch版本代码）所记，图片来源于源paper或其他相应博客。代码也非原始代码，而是从代码里摘出来的片段，配上简单数据，以便理解。当然，也可能因为设置数据不当，造成误解，请多指教。刚写了一部分。先发布。希望多多指正。Figure 1.

CV中token、Patch Embedding、positional encoding的概念（多模态、ViT、Transformer）

qq_34348690的博客

04-26

4047

在不同的语境下，术语token等有不同的解释。笔者这里的概念解释基于Google的ViT原文。 NLP中，token指的是一个单词word。而CV中，token的概念包含：token、class token、patch token等。

VIT中PatchEmbed、MultiHeadAttention代码详解（PyTorch）

xiaopan

07-12

4146

相信看到本文的小伙伴基本都是了解了VIT为何物，否则也不会对PatchEmbed感兴趣，所以本文只对VIT做一个简单的介绍。VIT是Vision Transformer的简称，是将Transformer模型运用在图片上的一个重要的网络模型，也是Transformer四大核心模块之一。其思想就是将图片分块再拼接形成如同文本数据一般的序列数据，方便将数据输入到Transformer网络中。

PatchEmbed代码讲解记录

vivi_cin的博客

02-14

1351

PatchEmbed讲解

Swin Transformer

森宝的博客

04-06

1398

上面的常规的窗口虽然可以降低计算的复杂度，但是又产生了新问题，将图像分成多个窗口后，只能窗口内计算自注意力，窗口间没办法交互，限制了模型的建模能力。将窗口内的patch按照通道方向展平，红色的部分和红色部分的转置以及绿色部分和绿色部分的转置计算的才可以使用，其他的部分“扔掉”，就是使用Masked,给他赋值-100，在计算softmax就是0了。但是，我们发现他的窗口的数量增加了，从4个窗口变成9个窗口,计算量上来了，为此，提出Cyclic-shift 循环移位。这也意味着，在计算自注意力的时候，

swin transformer 模块理解

m0_46498587的博客

01-12

4379

前言【个人学习笔记记录，如有错误，请指正】配置文件使用 swin_small_patch4_windows7_224.yaml 文件，batch_size = 4 # 一、Patch Embedding 【Patch embedding】其实就是将输入的 224 * 224 大小的图像，经过【卷积】和【LayerNorm】操作，将图像缩放为 56 *56 大小的特征图。然后将特征图reshape 为（4, 3136, 96）形状，这里的 4 为【batch_size】，3136 = 56*56，.

【Block总结】PatchEmbed降采样，卷积降采样

m0_47867638的博客

01-04

549

类是一个用于将图像分割成小块（patches）并进行嵌入（embedding）的模块。这是许多现代视觉Transformer模型（如ViT, Swin Transformer等）中的一个关键步骤。它将输入图像分割成固定大小的小块，然后对每个小块进行线性变换（通过卷积操作实现），从而得到每个小块的嵌入表示。这些嵌入表示随后可以作为Transformer编码器的输入。

Patch Embed代码块记录

Love Peace

09-28

541

代码记录