用于密集预测的视觉转换器 Vision Transformers for Dense Prediction

最新推荐文章于 2025-04-21 13:29:20 发布
原创 最新推荐文章于 2025-04-21 13:29:20 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #人工智能

本文提出了一种名为DPT的视觉转换器，用以替代传统的卷积网络作为密集预测任务的骨干架构。DPT保留了高分辨率表示，避免了下采样造成的特征损失，从而实现更精细、全局一致的预测。通过在深度估计和图像分割任务上的实验，证明了这种方法能显著提高预测效率。

Vision Transformers for Dense Prediction

面向实际应用的室内单目深度估计

0 Abstract

  我们提出了一种视觉转换器，一种利用视觉转换器代替卷积网络作为密集预测任务的骨干架构。本文将视觉转换器各个阶段的toker（翻译是令牌，但我感觉更像一个图像块）组装成各个分辨率的类图像表示，然后在解码器阶段进行组合，从而生成全分辨率预测。transformer采用恒定且相对较高的分辨率表示，并且在每个阶段都具有全局感受野。与全卷积网络相比，这些特征可以提供更细粒度和更全局连贯的预测。实验在深度估计和图像分割两个方向都产生了显著的效率提升。

1 Introduction

  目前几乎所有的密集预测框架都是基于卷积网络的编解码器结构，他们通过编码器来获得更深层次的特征信息，通过解码器来将这些特征进行聚合分析，最终实现密集预测。由于下采样才做，网络的编码器会丢失部分特征，而这些特征在解码器阶段无法得到恢复。虽然特征分辨率和图像粒度对于图像分类等任务无关紧要，但是他们对于密集预测至关重要。密集预测希望能够在与或接近输入图像分辨率的尺度上进行特征解析。
  目前提出了许多减轻特征粒度的方法，例如高分辨计算、扩展卷积、跳跃连接和并行连接等，但网络还是受到基本模块：卷积的限制。卷积和非线性一起构成了图像分析网络的基本计算单元，但是卷积是有限感受野的计算单元，为了得到有限的上下文联系和广泛的感受野，需要大量的卷积并行排列，这使得网络需要占据大量的计算机内存。所以采用下采样的方法来缩减中间表示。以减少内存消耗。
  在本文中提出了DPT，采用Visio transformer来代替传统网络中的编码器部分，采用transformer来代替卷积作为基本单元，最后将VIT输出的

最低0.47元/天 解锁文章
密集预测的视觉Transformer：Vision Transformers for Dense Prediction
梁瑛平的博客
10-15 1277
Vision Transformers for Dense Prediction论文地址：代码地址：主要工作：具体实现：Transformer encoder：Convolutional decoder：实验结果：实验结果： 论文地址： https://arxiv.org/abs/2103.13413 代码地址： https://github.com/isl-org/DPT 主要工作： 我们引入了密集的视觉Transformer，这是一种利用视觉Transformer代替卷积网络作为密集的预测任务的主干的架
Vision Transformers for Dense Prediction
weixin_42821501的博客
05-24 2801
paper：https://arxiv.org/abs/2103.13413 code：https://github.com/intel-isl/DPT Abstract 我们引入了密集视觉转换器，这是一种利用视觉转换器代替卷积网络作为密集预测任务的骨干架构。我们将视觉转换器的各个阶段的tokens组合成各种分辨率的类图像表示，并使用卷积解码器逐步将它们组合成全分辨率预测。转换器的主干过程表示在一个恒定的和相对高的分辨率，并在每个阶段有一个全局感受野。与完全卷积网络相比，这些属性允许密集视觉转换器提供更细粒
计算机视觉算法 DPT(Vision Transformers for Dense Prediction) 论文解读
最新发布
m0_74347437的博客
04-21 1618
关于depth anything前置知识dpt的学习，按照论文编排顺序进行总结
【论文笔记】Vision Transformers for Dense Prediction
m0_58678659的博客
04-22 5879
提出了基于 ViT 为主干架构的 Vision Transformer
【Transformer】11、DPT: Vision Transformer for Dense Prediction
热门推荐
呆呆的猫的博客
11-09 1万+
文章目录一、背景和动机二、方法2.1 Transformer encoder2.2 Convolutional decoder2.3 处理不同输入大小三、效果3.1 单目深度估计3.2 语义分割 论文链接：https://arxiv.org/pdf/2103.13413.pdf 代码链接：https://github.com/intel-isl/DPT 一、背景和动机 现有的密集预测模型大都是基于卷积神经网络的模型，基本上都把网络分为两部分： encoder：也就是 backbone decoder：
Vision Transformers for Dense Prediction 论文阅读
qq_42434944的博客
10-31 2225
研一小菜鸡一枚，刚刚入门CV领域，最近对大火的Transformer 比较感兴趣，把刚刚阅读过的一篇论文和大家分享一下，第一次写文章，如有错误，还请指正。 先放一下论文链接：https://arxiv.org/pdf/2103.13413v1.pdf Background 在阅读论文之前我们要先知道Dense prediction的定义 Dense Prediction：Pixelwise dense prediction is the task of predicting a label for each
论文笔记：Vision Transformers for Dense Prediction
blueag1e的博客
02-15 1237
Vision Transformers for Dense Prediction
Vision Transformers for Dense Prediction论文笔记
qq_43428929的博客
04-14 2690
本篇论文主要提出一种网络，基于Transformer去进行密集预测。众所周知，对于密集预测任务，常见的网络架构为Encoder+Decoder结构。当Encoder提取的特征有损时，Decoder很难去进行恢复。但是目前常用的卷积网络架构常常使用下采样方式，**逐步增加感受野，将低级特征分组为抽象的高级特征，同时确保网络的内存和计算需求保持易于处理。**但是，下采样有一个明显的缺点，特征分辨率和粒度（我感觉这里的粒度像是细粒度特征）在模型的更深层特征丢失，在Decoder中难以恢复。
Vision Transformers for Dense Prediction——代码实践
MengYa_Dream的博客
08-09 1140
Vision Transformers for Dense Prediction论文实践
《视觉Transformer转换器》综述论文
12-27
Transformer是一种主要基于自注意力机制的深度神经网络，最初应用于自然语言处理领域。受Transformer强大的表征能力的启发，研究人员提出将Transformer扩展到计算机视觉任务中。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上都具有竞争力，甚至表现出了更好的性能。
2021-Vision Transformers for Dense Prediction
weixin_43985824的博客
03-23 1123
几乎所有现有的密集预测架构都是基于卷积网络的[6,31,34,42,49,50,53]。密集预测架构的设计通常遵循一种模式，即逻辑上将网络分为编码器和解码器。编码器通常基于图像分类网络(也称为骨干网络)，该网络在大型语料库(如ImageNet)上进行预训练[9]。解码器聚合来自编码器的特征，并将它们转换为最终的密集预测。密集预测的架构研究往往集中在解码器及其聚合策略上[6,7,50,53]。然而，人们普遍认为，骨干网架构的选择对整个模型的能力有很大的影响，因为在编码器中丢失的任何信息都不可能在解码器中恢复。
【CVPR2022】MPViT : Multi-Path Vision Transformer for Dense Prediction
OUC的搬砖日常
03-23 760
论文链接：https://arxiv.org/abs/2112.11010 代码链接：https://git.io/MPViT 作者以不同于现有Transformer的视角，探索多尺度path embedding与multi-path结构，提出了Multi-path Vision Transformer(MPViT) ，技术框架如下图所示。 conv-stem 输入图像大小为：H×W×3，两层卷积：采用两个3×3的卷积，通道分别为C2/2，C2，stride为2，生成特征的大小为H/4×W/4×C2..
[PVT] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolution
Ah丶Weii
04-01 642
paper: https://arxiv.org/abs/2102.12122 code: https://github.com/whai362/PVT/ 文章目录1. Motivation2. Contribution3. Method3.1 Overall Architecture3.2 Feature Pyramid for Transformer3.3 Spatial-Reduction Attention3.3 Detailed settings of PVT series4. Experime.
Vision Transformers for Dense Prediction：革新视觉预测的开源利器
gitblog_00933的博客
09-13 1061
**Vision Transformers for Dense Prediction** 是一个基于Vision Transformers（ViT）的开源项目，专注于密集预测任务，如单目深度估计和语义分割。该项目由René Ranftl、Alexey Bochkovskiy和Vladlen Koltun共同开发，其研究成果已在[相关论文](https://arxiv.org/abs/2103.13...
Vision Transformers for Dense Prediction--阅读阶段
MengYa_Dream的博客
08-09 3517
[论文研读]Vision Transformers for Dense Prediction以及相关知识点
Vision transformer
weixin_45665426的博客
04-28 161
这里有详细的步骤提供我们学习https://mp.weixin.qq.com/s/JFxwRS3cCeJob120bZEBbA
Visual Transformer
weixin_43390051的博客
06-02 454
Deformable DETR Motivation DETR对于小物体的检测能力较差。现代的目标检测器用高像素的图像来检测小物体，但是使用高像素图像会导致DETR中encoder的计算复杂度增高。O(size3)O(size^{3})O(size3) DETR需要更多的训练轮次来收敛，收敛速度较慢。For example，在训练初始，cross-attention模块在整个特征图谱上都作attention，而在训练快结束时，注意力图谱已经被学习得非常稀疏，仅仅关注物体存在的部分。DETR需要训练很久来得
【深度学习】Vision Transformer 学习笔记
qq_45218240的博客
03-20 1044
解读vision transformer并详细注释代码细节
Vision transformers for dense prediction论文
03-20
最后，《Dense Visual Transformer Architecture》[^4] 描述了一个全新的密集型视觉转换器设计方案。该方案将不同层次下的token重新排列形成类似于图片形式的数据表达，并借助卷积解码层逐步恢复至原始尺寸完成最终...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值