ViT Slimming——联合结构搜索与Patch Selection

已于 2022-07-06 11:11:05 修改
阅读量1k 收藏 6
点赞数 1
分类专栏： 人工智能 计算机视觉 NAS 文章标签： 深度学习 人工智能 模型压缩 性能优化 Transformer
于 2022-06-03 16:13:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nature553863/article/details/125112986
版权
ViT Slimming是一种针对Transformer模型的结构优化方法，结合结构搜索和Patch selection，通过引入可微分的Soft mask进行多维度压缩，减少参数量和计算量。在Attention头和FFN层应用L1稀疏化，并在各层中消除低重要性的Patches。使用预训练权重初始化并采用Cosine衰减的学习率进行搜索训练。结构搜索完成后，根据Soft mask排序并裁剪，最后进行微调恢复模型精度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Paper地址：https://arxiv.org/abs/2201.00814

GitHub链接：https://github.com/Arnav0400/ViT-Slim

Methods

ViT Slimming是一种简单、有效的结构精简化技术，通过结构搜索与Patch selection的结合，一方面实现了多维度、多尺度结构压缩，另一方面减少了Patch或Token的长度冗余，从而有效减少参数量与计算量。具体而言，为ViT结构中流动的Tensor定义了相应的Soft mask，在计算时将二者相乘，并在Loss function中引入Soft mask的L1正则约束：

最低0.47元/天 解锁文章
两行代码自动压缩ViT模型！模型体积减小3.9倍，推理加速7.1倍
百度大脑
12-08 953
Transformer模型及其变体，因其更优的注意力机制能力和长时依赖等特性，已成为自然语言处理 (NLP)、语音识别 (ASR)、计算机视觉 (CV)等领域的主流序列建模结构。根据PaperWithCode网站ObjectDetectiononCOCOtest-dev专栏数据，检测任务中Transformer类模型精度早已超越卷积类模型。然而，Transformer模型的体积和速度相比卷积网络却...
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3244
【CVPR2022】完整论文列表
CVPR 2022 | ViT-Slim：一种灵活高效的视觉Transformer搜索策略
阿木寺的博客
04-30 2004
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：机器之心时隔 5 年，network slimming 原作者团队打造出了 ViT 版的 slimming，入选 CVPR 2022。卷积网络版的 network slimming 在 ICCV 2017 上被提出，作为神经网络剪枝领域代表性的工作之一，目前已被引用超过 1400 次，五年之后...
​#今日论文推荐# CVPR`22丨原作者团队打造，ViT版的Network Slimming来了
w1hsxn的博客
05-07 281
​#今日论文推荐# CVPR`22丨原作者团队打造，ViT版的Network Slimming来了 卷积网络版的network slimming在ICCV 2017上被提出，作为神经网络剪枝领域代表性的工作之一，目前已被引用超过1400次，五年之后的CVPR 2022，原作者团队跟Meta、印度理工等单位联合打造了ViT版的slimming，据悉该工作得到了四个审稿人一致推荐接收！ 论文题目：Vision Transformer Slimming: Multi-Dimension Searching i
ViT-Slim 项目使用教程
gitblog_00357的博客
08-25 402
ViT-Slim 项目使用教程 ViT-Slim项目地址:https://gitcode.com/gh_mirrors/vi/ViT-Slim 1. 项目的目录结构及介绍 ViT-Slim 项目的目录结构如下： ViT-Slim/ ├── LICENSE ├── README.md ├── ViT-Slim │ ├── __init__.py │ ├── main.py │ ├── ...
又快又强的轻量化主干来了！EfficientFormer：在iPhone上能实时推理的ViT模型
阿木寺的博客
06-05 2751
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童EfficientFormer: Vision Transformers at MobileNet Speed论文：https://arxiv.org/abs/2203.03952代码（即将开源）：https://github.com/hkzhang91/EdgeFormerVision ...
vision transformer 剪枝论文汇总
weixin_42638415的博客
11-15 4771
同时，作者提出一种自顶向下的剪枝方法，大致的流程就是从最后一层开始反推减去的patch，因为与卷积是不一样的，transformer的patch是一一对应的，而cnn却不是，意思是transformer中，如果我们从头剪，那么剪去的patch在后面是没有的，那么是非常影响精度的，因为前面冗余不代表后面冗余，所以从后往前是最好的选择，具体如图。的含义是：随着模型的层数由浅到深，token 的数量逐渐减小，即随着计算的进行，逐渐丢弃无信息的 tokens。因此深度方向也是可以进行剪枝的。
ViT：4 Pruning
鲁班模锤
06-23 1395
​ 视觉转换器（ViT）架构已经广受欢迎，并广泛用于计算机视觉应用。然而，随着 ViT 模型规模的扩大，可训练参数直线上升，从而影响了部署和性能。因此如何进行有效的优化成为热点领域，各种的研究方向层出不穷。下图左一为基本的ViT块，左二到左五代表着紧凑架构优化法、剪枝优化法、知识蒸馏法和量化优化法。橙色虚线的部分代表每个领域重点优化的组件。
ViT：3 Compact Architecture
鲁班模锤
06-24 830
本文先来看看Compact Architecture的优化方向。神经网络架构优化法是指设计轻量级和高效的模型，同时需要在下游任务中保持高性能。这种方法的研究集中在2021年-2022年，紧凑架构对于算力不那么充裕的终端的确是一个很好的改进。
浅谈BERT/Transformer模型的压缩与优化加速
Paper weekly
12-31 4364
©作者 | 姚益武单位 | 阿里巴巴集团研究方向 | AI算法与工程架构前言BERT/Transformer结构及其变体，已成为自然语言处理（NLP）、语音识别 （ASR）等领域的主流序...
【Transformer】22、AdaViT: Adaptive Vision Transformers for Efficient Image Recognition
呆呆的猫的博客
12-23 2872
文章目录一、背景二、方法三、效果 一、背景 Transformer 在多个领域实现了良好的效果，但其计算量随着 patches 数量的增加、self-attention head 数量增加、transformer block 数量的增加会有很大的增大。 但作者提出了一个问题： 作者认为这是因为图像数据需要在数据内部建立长距离关系，也就是在 patch 之间建立关系。所以作者提出了一个 AdaViT， 二、方法 三、效果 ...
LiveNas: Neural-Enhanced Live Streaming: Improving Live Video Ingest via Online Learning解读
qq_40766325的博客
09-22 1755
目录背景问题出发点Quality-Optimizing SchedulerPatch SelectionContent-Adaptive Online LearningSuper-resolution Processor 这篇文章的核心是将SR（super-resolution）应用到实时直播视频的Upstream上，也即在直播过程中从摄像头（产生数据）到服务器server的过程，SR的执行是在资源充沛的server端。该课题组之前发表过另一篇文章Neural Adaptive Content-aware
AdaViT——自适应选择计算结构的动态网络
AI Flash
07-02 1061
Paper地址：https://arxiv.org/abs/2111.15668GitHub链接：GitHub - MengLcool/AdaViT: Official implementation of AdaViTViT基于其自身结构的特点或优势，具备较好的抽象语义表达或特征表征能力：然而，针对不同难易程度的样本，ViT实际计算所需的Patch数量、Attention head数目或网络层数可以存在区别，因此可构成样本驱动形式的条件计算。 ​AdaViT通过设计动态网络结构，可根据输入样本的难易、自适应
Patch Slimming for Efficient Vision Transformers简记
椰子奶糖的博客
12-27 1993
Patch Slimming for Efficient Vision Transformers简记 文章目录Patch Slimming for Efficient Vision Transformers简记参考剪枝流程主要思想理论支持Top-Down PruningImpact Estimation剪枝过程最终效果思考 参考 为什么不用L0范数做正则化？ Lipschitz continuity 剪枝流程 稀疏正则训练 剪枝，剪去不重要的部分 finetune微调 主要思想 作者认为，atte
全网最强ViT (Vision Transformer)原理及代码解析
热门推荐
fulva的专栏
10-30 2万+
今天我们来详细了解一下Vision Transformer。基于timm的代码。 1. Patch Embedding Transformer原本是用来做NLP的工作的，所以ViT的首要任务是将图转换成词的结构，这里采取的方法是如上图左下角所示，将图片分割成小块，每个小块就相当于句子里的一个词。这里把每个小块称作Patch，而Patch Embedding就是把每个Patch再经过一个全连接网络压缩成一定维度的向量。 这里是VisionTransformer源代码中关于Patch Em...
Visual Tracking Using Pertinent Patch Selection and Masking阅读小结
"广外图像处理实验室"的专栏
11-11 740
Visual Tracking Using Pertinent Patch Selection and Masking—相关块选择和掩膜的视觉跟踪 算法概要： 此算法是基于图像块外观模型提出的。计算机在细化的目标框中选取靠近跟踪对象中心的切合块，分别构造出前景、背景外观。利用外观模型得到前景置信图，最后优化和掩膜由置信图得到的图像，实现目标跟踪。 一、初始化目标框，建立一个跟踪对象的外观框架
D3中selection之使用
weixin_30814223的博客
11-26 361
1. 极为重要的reference： [1] How selections works.http://bost.ocks.org/mike/selection/ [2] Nested selections.http://bost.ocks.org/mike/nest/ 2. 相关概念笔记 （1）Selections are usually seen asarrays of DO...
RNN和CNN使用场景区别
最新发布
mayaohao的博客
06-06 1002
RNN（循环神经网络）和 CNN（卷积神经网络）是深度学习中两种核心架构，它们的使用场景主要取决于数据结构和任务需求。
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
ak47maker的博客
06-05 598
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
vit-base-patch16-224结构图
03-30
ViT-Base-Patch16-224 是一种基于 Transformer 的视觉模型，其架构设计旨在处理图像分类任务。以下是 ViT-Base-Patch16-224 模型的主要组成部分及其结构描述： ### 模型概述 Vision Transformers (ViTs) 将输入图像分割成固定大小的 patches，并将其线性嵌入到向量中[^2]。对于 ViT-Base-Patch16-224 版本，具体参数如下： - 输入图像尺寸为 \(224 \times 224\) 像素。 - 图像被划分为 \(16 \times 16\) 大小的 patches，因此每张图片会被分成 \(196\) 个 patches (\(14 \times 14\))。 - 每个 patch 被展平并映射到一个维度为 \(768\) 的向量。 ### 架构细节 #### Patch Embedding 层 在该层中，每个 \(16 \times 16 \times 3\) 的 patch 都通过一个线性投影操作转换为长度为 \(768\) 的一维向量。随后会加入位置编码以保留空间信息[^2]。 #### Class Token 和 Positional Encoding 为了支持下游任务，在序列开头添加了一个可学习的 class token。此 token 受整个序列的影响并通过多头自注意力机制聚合全局信息。此外，还应用了绝对位置编码来表示各个 tokens 在原始图像中的相对位置关系[^2]。 #### Encoder Layers ViT 使用标准的 transformer 编码器堆叠而成，其中包含多个相同的 layer blocks。每一个 block 主要由两部分组成： 1. **Multi-head Self Attention Mechanism**: 这允许网络关注不同区域的重要特征组合。 2. **MLP Block**: 包含两个全连接层以及中间激活函数 GELU（Gaussian Error Linear Unit），用于增加非线性表达能力。 这些 layers 中间穿插 Layer Normalization 步骤以稳定训练过程，并采用残差连接促进梯度流动[^2]。 ```python class VisionTransformer(nn.Module): def __init__(self, image_size=224, patch_size=16, num_classes=1000, dim=768, depth=12, heads=12, mlp_dim=3072, dropout=0., emb_dropout=0.): super().__init__() self.patch_embedding = nn.Conv2d(in_channels=3, out_channels=dim, kernel_size=patch_size, stride=patch_size) ... ``` 上述代码片段展示了如何定义基本组件之一——patch embedding 层的部分实现方式[^3]。 ### 结论 综上所述，ViT-Base-Patch16-224 提供了一种新颖的方法将 transformers 应用于计算机视觉领域，利用一系列精心设计的技术手段实现了高效而强大的性能表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值