uperformer

最新推荐文章于 2025-04-22 20:16:52 发布
原创 最新推荐文章于 2025-04-22 20:16:52 发布 · 367 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习 #人工智能

 

在resnet101和swin作为backbone上做了实验，改进的是decoder的结构。Decoder会接受四个stage输出的feature作为输入，最后融合的feature接MLP（两层全连接，有激活，先扩张为原来通道数的4倍，再卷回原来的通道数）卷成语义数量最后用逐像素的交叉熵损失，并且使用了第三阶段的feature用FCN网络接了auxilary loss。激活在backbone和decoder中用的都是GELU，归一化用的是layer Norm。

backbone四个阶段输出的feature为：

 

 那decoder的结构可以表示为：

最低0.47元/天 解锁文章
quarter-moon
关注
Segformer网络数据流机制
奋土的博客
08-07 1523
512x512x3的数据输入segformer，是如何输入输出的？
经典论文阅读笔记——VIT、Swin Transformer、MAE、CILP
gailj
03-22 1万+
  本博客针对视觉Transformer方面的工作，对当前热点研究做一下总结。主要是VIT、Swin Transformer、MAE、CILP 这四篇。 VIT（用于图像分类）   ViT（vision transformer）是Google在2020年提出的直接将transformer应用在图像分类的模型，后面很多的工作都是基于ViT进行改进的。   ViT的思路很简单：直接把图像分成固定大小的patchs，然后通过线性变换得到patch embedding，这就类比NLP的words和word embe
Swin Transformer：Hierarchical Vision Transformer using Shifted Windows （论文阅读笔记）
weixin_40671425的博客
12-25 4392
swin transformer 是微软亚研院胡瀚老师与2021年提出，发表在ICCV上并获得best paper 和马尔奖。是基于transformer的backbone网络，屠榜各大视觉任务。 论文链接：https://arxiv.org/abs/2103.14030 代码链接：https://github.com/microsoft/Swin-Transformer 摘要 本文介绍了一种称为 Swin Transformer 的新视觉 Transformer，它可以作为计算机视觉的...
Swin-transformer block整体理解
m0_43553709的博客
06-19 7929
Swin-transformer block整体理解
transformer概述和swin-transformer详解
m0_60524373的博客
01-12 4069
transformer和swin-transformer
Uformer: A General U-Shaped Transformer for Image Restoration 论文笔记
weixin_46872424的博客
12-28 1302
Uformer: A General U-Shaped Transformer for Image Restoration 论文笔记
【深度学习】论文阅读：（ICCV-2021））Segmenter:Transformer for Semantic Segmentation
zhe470719的博客
04-29 3562
这里写目录标题详情 详情 名称：Segmenter:Transformer for Semantic Segmentation 时间： last revised 2 Sep 2021 (this version, v3)] 单位：Robin A. M. Strudel 论文：论文 代码：
如何用pytorch调用预训练Swin Transformer中的一个Swin block模块
wwimhere的博客
03-23 3173
1，首先，我们需要知道的是，想要调用预训练的Swin Transformer模型，必须要安装pytorch2，因为pytorch1对应的torchvision中不包含Swin Transformer。3，swin_b的模型结构如下（仅展示到第一个patch merging部分），在绝大部分情况下，我们可能需要的不是整个模型，而是其中的一个模块，比如SwinTransformerBlock。2，pytorch2调用预训练模型时，不建议使用pretrained=True，这个用法即将淘汰，会报警告。
5.一脚踹进ViT——Swin Transformer(上)
qq_45807235的博客
02-23 561
论文解读 + 实现
Transformer和swin-transformer
2301_77102499的博客
04-19 2814
首先将图片输入到Patch Partition模块(它的作用就是将一张图像，拿着刀切成一块块的小图像中进行分块，即每4x4相邻的像素为一个Patch，然后在channel方向展平。假设输入的是RGB三通道图片，那么每个patch就有4x4=16个像素，然后每个像素有R、G、B三个值所以展平后是16x3=48，所以通过Patch Partition后图像shape由[H, W, 3]变为[H/4, W/4, 48]。然后在通过层对每个像素的channel数据做线性变换，由48变成C，即图像shape再由。
Decoder-Improved:改进的Burp Suite解码器
05-15
解码器改进 tl; dr 在扩展程序内加载Decoder-Improved.jar 有关如何扩展“改进解码器”的演练，请访问我们的。 原始说明的链接似乎已断开。 尽管目前尚无有关如何扩展Decoder Improvement的最新演练，但可以在找到更多详细信息。 概括 Burp Suite的内置解码器组件虽然有用，但缺少重要功能并且无法扩展。 为了解决这个问题，我开发了Decoder Improvement，可以直接替换Burp Suite插件。 它包括解码器的所有功能，同时修复错误，添加选项卡，并包括改进的十六进制编辑器。 此外，该插件的功能可以直接扩展以适应任何自定义数据编码和解码需求。 Burp Suite解码器及其缺点 Burp Suite包含一个易于使用的数据处理工具包，该工具包允许用户通过设置一系列转换过滤器来处理数据。 这些过滤器允许用户执行简单的数据操作，包括URL，HT
Swin UNetR：把 UNet 和 Swin Transformer 结合
Debroon
12-13 1万+
这个层的作用是将Token的数量减少，实现2倍的下采样，同时将特征维度增加到原始维度的2倍。通过这个操作，特征的分辨率增加了2倍，而特征的维度减少到输入维度的1/4。训练过程中，将输入切割为多个小的体素块，并对每个体素块进行两次不同的数据增强操作，然后将它们分别输入到网络的编码器中进行处理，并计算自监督损失。编码器和解码器之间的连接方式。通过使用Patch expanding layer，解码器能够逐渐恢复图像的分辨率，并减少特征的维度，以提供更多的细节和精度，并为后续的特征融合和预测做准备。
AI大模型系列之三：Swin Transformer 最强CV图解（深度好文）
热门推荐
Peter_Changyb的博客
03-30 2万+
SwinTransformer是一种为视觉领域设计的分层Transformer结构。它的两大特性是滑动窗口和分层表示。滑动窗口在局部不重叠的窗口中计算自注意力，并允许跨窗口连接。分层结构允许模型适配不同尺度的图片，并且计算复杂度与图像大小呈线性关系。Swin Transformer借鉴了CNN的分层结构，不仅能够做分类，还能够和CNN一样扩展到下游任务，用于计算机视觉任务的通用主干网络，可以用于图像分类、图像分割、目标检测等一系列视觉下游任务。
【Swin Transformer】Win10使用Swin Transformer做语义分割 (使用自己的数据集 + 图解超详细)
零碎@流年絮语 的博客
05-30 4047
【Swin Transformer】Win10使用Swin Transformer做语义分割 (使用自己的数据集 + 图解超详细)
FFPFormer:Take an Irregular Route: Enhance the Decoder of Time-Series Forecasting Transformer
m0_51312071的博客
03-21 946
随着物联网（IoT）系统的发展，精确的长期预测方法对决策者评估当前状况并制定未来政策至关重要。目前，Transformer和MLP是两种深度时间序列预测的范式，其中前者因其出色的注意力机制和编码器-解码器架构而更为流行。然而，数据科学家似乎更愿意深入研究编码器，而忽略了解码器。一些研究者甚至采用线性投影来替代解码器，以降低复杂性。我们认为，无论是提取输入序列的特征，还是寻求输入与预测序列之间的关系，即编码器和解码器各自的功能，都至关重要。
乱七八糟的笔记：Transformer/ViT/Swin transformer/DETR
m0_48610901的博客
03-18 1457
看B站沐神的课的即时笔记，乱但需要留一份。
[论文] SegFormer
Ression的博客
08-12 1803
我们介绍的 SegFormer 是一个简单、高效但功能强大的语义分割框架，它将 Transformers 与轻量级多层感知器 (MLP) 解码器结合在一起。SegFormer 有两个吸引人的特点：1) SegFormer包含一个可以输出多尺度信息的transformer编码器（没有使用position embedding，避免了position插值）；当测试分辨率与训练分辨率不同时，插值会导致性能下降。2) SegFormer 避免了复杂的解码器。
【AI模型学习】Swin Transformer——优雅的模型
最新发布
wwl412095144的博客
04-22 858
最优雅的模型之一
【深度学习】CVPR 2022|从原理和代码详解FAIR的惊艳之作：全新的纯卷积模型ConvNeXt...
fengdu78的博客
03-08 1668
作者丨科技猛兽编辑丨极市平台导读ConvNeXt 可以看做是把 Swin Transformer 包括 ViT 的所有特殊的设计集于一身之后的卷积网络进化版，升级了 ResNet 架...
CVPR 2022|从原理和代码详解FAIR的惊艳之作：全新的纯卷积模型ConvNeXt...
jacke121的专栏
09-02 3711
CVPR 2022|从原理和代码详解FAIR的惊艳之作：全新的纯卷积模型ConvNeXt
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值