ViT论文阅读

最新推荐文章于 2025-05-09 21:11:40 发布
原创 最新推荐文章于 2025-05-09 21:11:40 发布 · 2.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#图像处理

这篇博客探讨了ViT（Vision Transformer）如何将2D图像转换为1D序列，并指出其在中小型数据集上相对于ResNet的表现劣势。ViT缺乏卷积神经网络的局部性和平移等变性归纳偏置，这导致它在某些任务上表现不足。尽管如此，Transformer模型的独特结构为图像处理带来了新的视角和潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ViT解决的第一个问题就是是如何把2D的图像用1D序列形式表现出来，

其次ViT模型在中小型数据集(如ImageNet)上的效果对比ResNet是比较弱的，这是因Transformer和卷积神经网络相比，缺少了一些卷积神经网络拥有的归纳偏置的先验知识。

对于卷积神经网络来说，常说的有两个inductive bias（归纳偏置）：

locality：因为卷积神经网络是以滑动窗口的形式一点一点地在图片上进行卷积的，所以假设图片上相邻的区域会有相邻的特征，靠得越近的东西相关性越强
translation equivariance（平移等变性或平移同变性）：f(g(x))=g(f(x))，就是说不论是先做 g 这个函数，还是先做 f 这个函数，最后的结果是不变的。这里可以把f理解成卷积，把g理解成平移操作，意思是说无论是先做平移还是先做卷积，最后的结果都是一样的（因为在卷积神经网络中，卷积核就相当于是一个模板，不论图片中同样的物体移动到哪里，只要是同样的输入进来，然后遇到同样的卷积核，那么输出永远是一样的）

51-6 Vision Transformer ，ViT 论文精读
AIgraphX
01-09 1821
ViT取代了CNN，打通了CV和NLP之间的鸿沟，而且挖了一个更大的多模态的坑。ViT未来有可能真就是一个简洁、高效、通用的视觉骨干网络，而且可以完全不用任何标注信息。当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。
VIT论文阅读
m0_37634594的博客
04-10 1064
vit论文阅读
【论文阅读】ViT: AN IMAGE IS WORTH 16X16 WORDS 用Transformer干图像分类
Tsuinosora
01-23 4688
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 用Transformer干碎CNN？ ???? PDF Link ???? Github Code Section 1. Introduction Self-Attention在NLP里很火，例如Transformer。得益于计算效率以及可伸缩性，可以在训练出一个超过100B参数的巨大的模型，而且随着模型和数据集的增长，还没有出现性能饱和的现象。 在CV领域
第二十四周：文献阅读笔记（VIT）
weixin_45409613的博客
12-17 1092
VIT是一种基于Transformer模型的视觉处理方法。传统上，卷积神经网络（CNN）在计算机视觉任务中表现出色，但Transformer在自然语言处理任务中取得了很大的成功，VIT的目标是将Transformer模型应用于计算机视觉领域，以处理图像数据，其使用了一种将图像数据转换为序列数据的方法。它将输入的图像分割成一系列的图像块，然后将这些图像块展平为一维向量序列。随后，VIT引入了Transformer的编码器部分，来对这个一维序列数据进行处理。本文我们将详细介绍VIT。
论文研读：ViT-V-Net—用于无监督3D医学图像配准的Vision Transformer
weixin_42937740的博客
07-12 1863
最近，几种基于VIT的图像分割方法被与ConvNets相结合，以提高对详细定位信息的恢复。受它们的启发，我们提出了VIT-V-Net，它连接了VIT和ConvNet，以提供3D医学图像配准。
论文阅读 Vision Transformer - VIT
highoooo的博客
01-15 872
通过将图像切成patch线形层编码成token特征编码的方法，用transformer的encoder来做图像分类multihead和我原有的理解偏差修正。我以为的是QKV会有N块相同的copy()，每一份去做后续的linear等操作。代码里是直接用linear将QKV分为一整个大块，用permute/rearrange的操作切成了N块，f(Q,K)之后再恢复成一整个大块，很强。
论文阅读6——VIT：Vision Transformer（包括ViT代码复现）
2403_87584552的博客
10-16 3483
虽然Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合应用，要么用于替换卷积网络的某些组件，同时保持其整体结构。我们表明，这种对CNN的依赖是没有必要的，并且直接应用于图像补丁序列的纯Transformer可以在图像分类任务中表现得非常好。
ViT论文逐段精读【论文精读】-跟李沐学AI
qq_42014059的博客
04-05 4724
视频链接：ViT论文逐段精读【论文精读】_哔哩哔哩_bilibili ViT：过去一年，CV 最有影响力的工作 推翻了 2012 Alexnet 提出的 CNN 在 CV 的统治地位 有足够多的预训练数据，NLP 的 Transformer 搬运到 CV，效果很好 打破 CV 和 NLP 的壁垒，给 CV、多模态 挖坑 ViT效果有多好？ CV 任务刷榜 paperwithcode网站 霸榜 ImageNet （基于 ViT）和 COCO ,目标检测（Swin Transform...
【论文阅读】ViT-Vision Transformer（简介+代码+面试常见问题）
最新发布
小苏的博客
05-09 924
Vision Transformer的原论文介绍+代码实现+面试常见问题
[pytorch] ViT 2D + 3D代码 实现,改写
qq_38736504的博客
11-01 4145
PYTORCH 2D 3D ViT
从零开始做图像分类任务（一）——构建图像分类模型（ResNet, VGG, ViT）
Miller_em的博客
08-14 1438
分类模型
一文详解视觉Transformer在CV中的现状、趋势和未来方向（分类/检测/分割/多传感器融合）...
CV_Autobot的博客
11-07 1734
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群后台回复【transformer综述】获取2022最新ViT综述论文！摘要Transformer，一种基于注意力的编码器-解码器模型，已经彻底改变了自然语言处理（NLP）领域。受这些重大成就的启发，最近在计算机视觉（CV）领域采用类似Transformer的架构进行了一些开创性的工作，这些...
【Code Reading】Transformer in vision and video
三木今天学习了嘛の博客
11-02 579
最后一行是单独做的实验，去掉了Model2的temporal transformer，直接在帧上做了pooling，EK上的精度下降很多，对于时序强的数据集需要用temporal transformer来做时序信息交互。在论文的Table1中有给出三个模型（Base/ Large/ Huge）的参数，在源码中除了有Patch Size为16x16的外还有。model3的实现和TimeSformer的实现是一样的，去掉cls-token即可，可以参考TimeSformer的文章。，这里把时间维度单独抽出来。
[CVPR2022] 用于 3D 医学图像分析的 Swin Transformers 的自监督预训练
热门推荐
weixin_44832243的博客
05-14 1万+
Vision Transformer(ViT)在全局和局部表示的自监督学习方面表现出了出色的性能，这些表示它可以转移到下游任务的应用中。提出模型：提出一种新的自监督学习框架Swin UNETR，它具有定制的代理任务，用于医学图像分析。模型介绍：(1)一种新的基于3D变压器的模型，称为Swin UNEt Transformer (Swin UNETR)，具有用于自我监督前训练的分层编码器;(2)为学习人体解剖学的基本模式定制代理任务。
M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models
读书郎
10-15 1890
医学图像分析对于临床诊断和治疗至关重要，而多模态大型语言模型（MLLMs）的日益支持正逐步取代了二维医学图像。然而，以往的研究主要关注二维医学图像，而忽略了三维图像，尽管它们具有更丰富的空间信息。本文旨在利用MLLMs推进三维医学图像分析。为此，我们提出了一个大规模的三维多模态医学数据集M3D-Data，包含120K个图像-文本对和662K个针对各种三维医学任务（如图像-文本检索、报告生成、视觉问答、定位和分割）的指令-响应对。
【Paper Note】ViViT: A Video Vision Transformer
m0_51371693的博客
04-17 1094
ViViT论文阅读笔记
LVT | ViT轻量化的曙光，完美超越MobileNet和ResNet系列
3D视觉工坊
12-23 2143
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童尽管 Vision Transformer 的表示能力令人叹服，但目前的轻量级 Vision Tr...
ViT阅读笔记
qq_39686950的博客
05-24 1198
文章目录一、介绍二、实现细节三、实验四、结论 一、介绍   该论文最终修订于2020年10月22日，全名是《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》，在这篇论文提出之前，在计算机视觉领域，attention机制要么与CNN结合应用（比如增强特征图、用self-attention进一步处理CNN的输出，方法是大多是2018、2019年提出的），要么替换CNN的某些组件，同时保持CNN的整体结构，或者使.
ViT论文浮现
03-19
### Vision Transformer (ViT) 论文下载与阅读指南 Vision Transformer (ViT) 是一种基于Transformer架构的图像识别方法，其核心思想是将图像分割成多个固定大小的patches，并将其作为输入序列送入Transformer模型中处理。以下是关于ViT论文的相关信息及其下载链接。 #### 论文基本信息 - **论文标题**: An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale - **作者团队**: Google Research - **发表时间**: 2020年10月 该论文首次提出了如何通过大规模数据预训练使Transformer在图像分类任务上达到甚至超过卷积神经网络(CNN)的效果[^2]。 #### 下载地址 可以通过以下链接直接访问并下载原始论文： - [An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale](https://arxiv.org/abs/2010.11929) #### 模型特点概述 1. **Patch Embedding**: 图像被划分为若干个非重叠的小块(patch)，每个patch经过线性变换映射到固定的向量表示形式。 2. **Positional Encoding**: 虽然可以采用多种位置编码方式(如1D或2D)[^4]，但实验证明具体的选择对于最终性能影响较小。 3. **Self-Attention Mechanism**: 利用多头自注意力机制捕获全局特征依赖关系，在较大规模数据集下展现出优于传统CNN结构的能力[^3]。 #### 实验结果分析 通过对不同尺寸的数据集进行对比测试发现，随着训练样本数量增加,Vision Transformer逐渐显现出相对于其他先进方法(BiT、VIVI等)的优势地位。这表明当拥有充足标注资源时,Vision Transformer能够更好地挖掘潜在模式从而实现更优表现。 ```python import torch from vit_pytorch import ViT model = ViT( image_size=256, patch_size=32, num_classes=1000, dim=1024, depth=6, heads=8, mlp_dim=2048, dropout=0.1, emb_dropout=0.1 ) print(model) ``` 上述代码片段展示了如何利用PyTorch框架快速搭建一个基础版本的Vision Transformer实例化对象。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值