EfficientViT: Enhanced Linear Attention forHigh-Resolution Low-Computation Visual Recognition

最新推荐文章于 2025-09-25 15:55:47 发布
原创 最新推荐文章于 2025-09-25 15:55:47 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习

本文探讨了在高分辨率移动视觉任务中，ViT模型相对于CNN的不足，以及现有优化方法的局限性。研究提出用线性注意力替代softmax注意力，以减少计算成本并保持全局特征提取能力。同时，通过引入深度卷积增强线性注意力，弥补其在局部特征提取上的弱点。实验结果显示，这种方法显著提高了模型在高分辨率输入下的性能，特别是在处理局部特征时。

目录

Abstract

1 Introduction

3 Method

3.2 EffificientViT

4 Experiments

4.5 Analysis and Discussion

Abstract

在针对高分辨率移动视觉应用时，ViT不如卷积神经网络（CNNs）。

现有的方法（如Swin、PVT）限制了局部窗口内的softmax attention，或降低键/值张量的分辨率，以降低成本，这牺牲了ViT在全局特征提取方面的核心优势

我们提出用线性注意代替softmax attention，同时用深度卷积提高其局部特征提取能力。

1 Introduction

例如，图1（左）比较了COCO数据集上当前基于cnn和基于vit的单阶段检测器

最低0.47元/天 解锁文章
YOLOV5/YOLOV8改进：CVPR 2022 |EfficientViT：轻量级多尺度关注设备上语义分割
AIcurator的博客
05-17 2848
视觉变压器因其较高的模型性能而取得了巨大的成功。然而，它们显著的性能伴随着沉重的计算成本，这使得它们不适合实时应用。在本文中，我们提出了一种被称为高效振动的高速视觉变压器。我们发现，现有的变压器模型的速度通常受到内存低效操作的限制，特别是在MHSA中的张量重塑和元素级函数。因此，我们设计了一个新的具有夹层布局的构建块，即在有效的FFN层之间使用单一内存绑定的MHSA，在提高内存效率的同时提高了信道通信。此外，我们发现注意力图在头部之间有很高的相似性，从而导致计算冗余。
Yolov5轻量级：EfficientViT，基于级联分组注意力模块的全新实时网络架构，better speed and accuracy |CVPR2023
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
05-19 3085
yolov5引入cvpr2023 EfficientViT，加入backbone，涨点明显。高效ViT模型EfficientViT。它以EfficientViT block作为基础模块，每个block由三明治结构 (Sandwich Layout) 和级联组注意力（Cascaded Group Attention, CGA）组成。
CVPR 2023｜EfficientViT：让ViT更高效部署实现实时推理（附源码）
gzq0723的博客
06-17 4769
点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院公众号ID｜计算机视觉研究院学习群｜扫码在主页获取加入方式论文地址：https://arxiv.org/pdf/2305.07027.pdf项目代码：https://github.com/microsoft/Cream/tree/main/EfficientViT计算机视觉研究院专栏Column of Computer Vision Insti...
EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction 译读笔记
最新发布
墨门
09-25 915
高分辨率密集预测使许多有吸引力的实际应用成为可能，例如 computational photography、autonomous driving 等。然而，巨大的（vast）计算成本使得在硬件设备上部署最先进的高分辨率密集预测模型变得困难。这项工作提出了EfficientViT，这是一系列具有新颖多尺度线性注意力机制的新型高分辨率视觉模型。
论文解读：EfficientViT-提高吞吐量
weixin_50917576的博客
12-04 1478
EfficientViT：通过多种手段，在准确率基本保持不变的同时，来不断提供整个模型的吞吐量
【读点论文】EfficientViT: Enhanced Linear Attention for High-Resolution Low-Computation将softmax注意力转变为线性注意力
白水空空
09-26 4411
视觉transformer(ViT)在许多视觉任务中取得了显著的性能。然而，在针对高分辨率移动视觉应用时，ViT次于卷积神经网络(CNNs)。降低ViT在边缘设备上的部署成本至关重要。现有的方法(如Swin、PVT)将软最大注意限制在局部窗口内或降低键/值张量的分辨率以降低成本，牺牲了ViT在全局特征提取方面的核心优势。在这项工作中，本文提出了高效率的ViT架构，用于高分辨率低计算的视觉识别。。高效率vit在保持全局和局部特征提取能力的同时，享受线性计算复杂度。
EfficientViT：高分辨率密集预测的多尺度线性注意力
qq_45981086的博客
10-28 4513
EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction论文总结和代码实现。
PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation 翻译
Doc2X的博客
11-21 1111
https://arxiv.org/pdf/2410.10394 PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation PIVOT-R: 用于机器人操作的原语驱动航点感知世界模型
文献阅读笔记：脉冲神经网络最新文献合集-VII
Grow into a more wonderful you
09-13 783
摘要：近期研究聚焦脉冲神经网络（SNN）在多个领域的创新应用。Khanchana等提出NeuroPET，通过优化深度卷积SNN提升乳腺癌检测精度（2025）。Shi团队开发了全忆阻器SNN，显著降低图学习的能耗（Science Advances 2025）。Li等设计的qLIF模型有效减少了SNN实现中的内存与计算开销（Neural Computing and Applications 2025）。此外，Ayasi团队对比了SNN与传统ANN在阿拉伯国家光伏系统太阳辐射预测中的表现（多机构合作）。这些研究展
【ECCV2020】接收论文列表part1
TomRen
07-18 7315
ECCV2020 接收论文完整列表 看论文学CV
HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning 翻译
Doc2X的博客
11-22 1437
https://arxiv.org/pdf/2404.19245 HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning 翻译 HydraLoRA: 一种用于高效微调的不对称LoRA架构
EfficientViT是什么？
m0_46583515的博客
09-20 1659
与卷积神经网络(CNN)相比，ViT具有更强的全局信息捕获能力和远程交互能力，特别是在扩大训练数据大小和模型大小时表现出优于CNN的准确性[3]，但是，在对高分辨率移动场景应用时，ViT不如CNN，此时便引入了EfficientViT，及高效率的ViT[4]。ViT(Vision Transformer)是2020年提出、于2021年发表的的将自然语言处理(NLP)领域的transformer引入自然语言处理(CV)领域用于分类的训练模型，在公开数据集的训练中超过了Res，且越大的数据集训练效果越好。
EfficientViT: 高效视觉transformer与级联组注意力
AI浩
10-08 2310
由于视觉transformers具有高度的模型能力，因此它们在视觉任务上取得了巨大的成功。然而，这种出色的性能同时也伴随着沉重的计算成本，使得它们不适合用于实时应用。在这篇文章中，我们提出了一种名为EfficientViT的高效transformers系列。我们发现，现有transformer模型的运行速度通常受到内存效率低下的操作的限制，特别是多头自注意力机制（MHSA）中的张量重塑和逐元素函数。
EfficientViT(2023CVPR)：具有级联组注意力的内存高效视觉Transformer!
m0_63294504的博客
09-25 3510
在本文中，作者对影响视觉Transformer推理速度的因素进行了系统分析，并提出了一种具有内存操作高效和级联组注意力的新型快速视觉Transformer系列，名为 EfficientViT。大量的实验证明了EfficientViT的功效和高速，并且在各种下游基准测试上也显示了其优越性。
EfficientViT模块
01-24 925
*标题：**EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction**代码链接：**https://github.com/mit-han-lab/efficientvit**
【ICCV 2023】EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
m0_61899108的博客
11-02 6740
高分辨率密集预测得到越来越多的应用，如计算摄影、自动驾驶等。然而，巨大的计算成本使得在硬件设备上部署最先进的高分辨率密集预报模型变得困难。本文提出EfficientViT，一个新的高分辨率视觉模型家族，具有新颖的多尺度线性特性。不同于现有的高分辨率密集预测模型依赖于大量的softmax注意力、硬件低效的大内核卷积或复杂的拓扑结构来获得良好的性能，多尺度线性注意力只需轻量级和硬件高效的操作就可以实现全局感受野和多尺度学习（高分辨率密集预测的两个理想特征）。
EfficientViT-SAM
whaosoft143ai的博客
02-19 1293
在保留SAM轻量级的提示编码器和 Mask 解码器的同时，作者用EfficientViT替换了沉重的图像编码器。作者设计了两系列模型，EfficientViT-SAM-L和EfficientViT-SAM-XL，它们在速度和性能之间提供了平衡。然而，SAM的图像编码器组件带来了显著的计算成本，导致高延迟，限制了在时间敏感场景中的实用性。特别是，在COCO数据集上，与SAM-ViT-H相比，EfficientViT-SAM在A100 GPU上实现了48.9倍的吞吐量提升，而mAP没有下降。 whaosoft
CVPR 2023 | EfficientViT：让ViT在多个部署场景实现实时推理
TechBeat人工智能社区博客
05-19 6684
随着近两年来对视觉Transformer模型（ViT）的深入研究，ViT的表达能力不断提升，并已经在大部分视觉基础任务 (分类，检测，分割等) 上实现了大幅度的性能突破。 然而，很多实际应用场景对模型实时推理的能力要求较高，但大部分轻量化ViT仍无法在多个部署场景 （GPU，CPU，ONNX，移动端等）达到与轻量级CNN（如MobileNet） 相媲美的速度。 为了实现对ViT模型的实时部署，来自微软和港中文的研究者从三个维度分析了ViT的速度瓶颈，包括多头自注意力（MHSA）导致的大量访存时间，注意力
改进YOLO系列 | EfficientViT：用于高分辨率密集预测的多尺度线性注意力 | ICCV 2023
YOLOv8项目贡献者
04-04 1052
本改进已融合到 YOLOv5-Magic 框架！
esrgan: enhanced super-resolution generative adversarial networks
06-28
### 回答1： ESRGAN是增强型超分辨率生成对抗网络的缩写，它是一种深度学习模型，用于将低分辨率图像转换为高分辨率图像。它使用生成对抗网络（GAN）的方法，通过训练生成器和判别器来提高图像的质量。ESRGAN是目前最先进的超分辨率算法之一，它可以生成更加真实、细节更加丰富的高分辨率图像。 ### 回答2： ESRGAN是一种增强超分辨率生成对抗网络（Enhanced Super-Resolution Generative Adversarial Networks）的算法，它采用了图像增强技术和深度学习的方法，可以将低分辨率（LR）的图像转化为高分辨率（HR）的图像。该算法主要的贡献在于，它可以生成更加逼真的HR图像，从而更好地应用于实际的图像处理领域。 该算法主要是由两个子模型组成的，一个是生成模型（Generator），另一个是判别模型（Discriminator）。生成模型通过学习HR图像和相应的LR图像之间的关系，生成更加逼真的HR图像。而判别模型则评估生成模型生成的HR图像是否真实，从而提高生成模型的准确度。 ESRGAN算法采用特殊的损失函数，即感知损失和自适应增强损失，来优化生成模型。感知损失通过VGG网络来计算生成模型和HR图像之间的差异，以此来调整生成模型的参数。自适应增强损失则用于动态调整生成模型的输出图像的细节层次，使生成模型产生更加真实的输出图像。 ESRGAN算法在图像增强领域取得了显著的成果，其生成的HR图像质量要比先前的SRGAN算法有了很大的提升。因此，ESRGAN算法在实际应用中具有广泛的前景，可以为图像处理领域提供更加高效、准确和可靠的方法。 ### 回答3： ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks）是一种利用深度学习算法进行图像超分辨率的技术。其主要思路是基于GAN模型，通过训练一个生成器去从低分辨率图像生成高分辨率图像，同时以高分辨率的真实图片为样本来训练判别器模型，使其能够区分出生成器生成的图像是否为真实高清图像。 ESRGAN相对于传统的超分辨率算法，具有以下几个优点： 1.超分辨率效果更好。传统的超分辨率算法往往是基于一些数学模型进行插值运算，因此往往会出现图像模糊、失真等问题。而ESRGAN能够通过深度学习算法学习到更加准确的纹理特征，从而可以生成更为真实的高清图像。 2.可扩展性更强。ESRGAN的GAN模型可以通过增加网络深度、增加训练数据等方式对模型进行优化，从而提高图像超分辨率效果。 3.针对性更强。ESRGAN可以针对不同种类的图像进行训练，从而能够对各种类型的图像进行超分辨率处理，具有广泛的适用性。 4.易于应用。ESRGAN训练出的模型可以很方便地应用到实际生产环境中，对于需要进行图像超分辨率处理的应用场景具有很大的帮助作用。 虽然ESRGAN在图像超分辨率方面具有较为突出的优势，但其也存在一些缺点和挑战。比如需要大量的高清图像数据用于训练，需要考虑到训练时间和计算资源的问题；还需要解决一些局部纹理复杂的图像超分辨率问题。总之，ESRGAN是一种非常有潜力的图像超分辨率算法，将有助于推动图像处理技术的进一步发展。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值