Visual Attention Network

原创 已于 2022-03-27 14:34:08 修改 · 6.7k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #神经网络 #深度学习

于 2022-03-27 14:19:38 首次发布
本文介绍了一种新的视觉注意力网络(VAN)，该网络结合了卷积神经网络(CNN)和Vision Transformer(ViT)的优点，以解决现有模型在处理图像任务时存在的局限性。VAN利用大型内核注意力机制捕获长距离依赖关系，同时保持较低的计算复杂度。此外，还讨论了VAN在网络结构改进、自监督学习和迁移学习方面的潜力。

研究背景

对于各种视觉任务来说，例如图像分类、目标检测、语义分割等，一个先进的backbone往往能够显著地提高性能。由于Transformer自身强大的建模能力，自Vit将Transformer引入CV以来，基于Transformer的backbone，如swin-Transformer等迅速占据了各种任务的排行榜。

存在的问题

CNN

卷积运算采用静态权值，适应性差。

Transformer

  1. self-attention起初是为1维的NLP任务设计的，将图片的二维结构视为一维序列，对图像的关键二维结构造成了破坏；
  2. 由于其二次计算和内存开销，它也难以处理高分辨率图像；
  3. self-attention只考虑了空间维度的适应性，忽略了通道维度的适应性。

解决思路

回顾 Depth-wise Separable Convolution

depthwise separable convolution，由depthwise(DW) convolution和pointwise(PW) convolution两个部分结合起来，目的是降低网络参数量和计算量。

在这里插入图片描述

最低0.47元/天 解锁文章
Visual Attention Network（VAN）
qq_42075634的博客
09-16 4470
LKA与 MobileNet [6] 有相似之处， MobileNe将标准卷积解耦为两部分，一个深度卷积和一个点卷积（也称为 1 × 1 Conv [36]）。我们的方法将卷积分解为三部分：深度卷积、深度和扩张卷积[37]、[38]和点卷积。受益于这种分解，LKA更适合有效地分解大核卷积。我们还在LKA中引入了注意力机制来获得自适应特性。
【论文笔记】Visual Attention Network
m0_61899108的博客
07-10 2354
论文题目：Visual Attention Network论文地址：https://arxiv.org/abs/2202.09741项目地址：Visual-Attention-Network · GitHub（官方）transformers/src/transformers/models/van at main · huggingface/transformers · GitHub参考博客：【ARXIV2202】Visual Attention Network - 知乎Visual Attention Ne
VAN：Visual Attention Network
just
11-19 2253
虽然最初是为自然语言处理任务而设计的，但自注意机制最近已经席卷了各种计算机视觉领域。然而，图像的2D特性给在计算机视觉中应用自注意机制带来了三个挑战。（1） 将图像处理为1D序列忽略了它们的2D结构。（2） 二次复杂度对于高分辨率图像来说太昂贵了。（3） 它只捕捉空间适应性，而忽略了通道适应性。【视觉的注意力可以被分为四个类别： 通道注意力、空间注意力、时间注意力和分支注意力。】
【ARXIV2202】Visual Attention Network
OUC的搬砖日常
03-16 825
【ARXIV2202】Visual Attention Network 论文地址：https://arxiv.org/abs/2202.09741 代码地址：https://github.com/Visual-Attention-Network 一些想法 这个方法看起来非常简单，有些像在MobileNet 中间加了一个 带空洞的 depth-wise conv 论文题目说是提出了一个 attention 模块，但网络本质还是四阶段的 transformer 没有任何一个模块是新提出的，但组合起来是在
【Visual Attention Network论文解析】
最新发布
weixin_46083369的博客
01-18 1904
(1)将图像作为一维序列处理，忽略了其二维结构(2)对于高分辨率图像，二次复杂度过于昂贵(3)只捕捉了空间适应性，忽略了通道适应性为此，文中提出一种新的**“线性注意”**——大核注意（large kernel attention,LKA)，具有一下特点：（1）使自注意具有“自适应”和“远程相关性”（2）避免自注意的以上缺点以及一种基于LKA的神经网络——视觉注意网络（VAN)。补充：——对适应性的理解在神经网络中，“适应性”通常指网络自适应地学习和提取输入数据中的特征的能力。
【Attention】Visual Attention Network
呆呆的猫的博客
03-02 4658
文章目录一、背景二、动机三、方法3.1 Large Kernel Attention3.2 VAN四、效果4.1 分类4.2 目标检测4.3 语义分割 论文链接：https://arxiv.org/abs/2202.09741 代码链接：https://github.com/Visual-Attention-Network 一、背景 源于 NLP 的 self-attention 机制在应用于 2D 图像的时候，有三个问题： 将 2D 的结果看做 1D 的序列，会损失 2D 空间结构 高分辨率的图像会导致
visual attention
Marshall的专栏
11-10 1177
模型汇总24 - 深度学习中Attention Mechanism详细介绍：原理、分类及应用RAM论文笔记之： Recurrent Models of Visual AttentionRecurrent Visual Attention源码解读论文笔记之：Multiple Object Recognition With Visual Attention论文笔记之：Attention For Fin...
清华&南开提出VAN：视觉注意力网络Visual Attention Network
shang_bo_liang的博客
02-24 1560
新注意力！新主干！清华&南开提出VAN：视觉注意力网络
视觉注意VISUAL ATTENTION
07-15
网上搜罗到的各种视觉注意程序，大部分效果都还可以。。
新的 self-attention 网络结构，Visual Attention Network
skyfengye的博客
02-22 2101
随着现在大家把transformer 的各种结构玩成花以后，后面也没有出什么比较经典的结构了。然后研究者们就开始挖掘以前的网络结构特点，加上各种技巧提高网络准确度。比如前段时间的ConvNeXt，各种叠技巧最后冲的很好准确度。现在又出来一个新的网络结构：Visual Attention Network。作者提出了一种新的Large Kernel Attention (LKA)模块，以使self-attention的自适应和长距离相关，同时避免了上述问题。 与MobileNet相似，它将一个标准的卷积解耦为
清华&南开提出VAN：视觉注意力网络:Visual Attention Network
liu_chengguang的博客
03-08 1012
原文链接：有道云笔记 PPT:
[2202] Visual Attention Network
koukouvagia的博客
03-29 3624
Visual Attention Network
[Attention] VAN：visual attention network
Cherry的笔记本
03-04 3190
2022年2月 Arxiv Link : https://arxiv.org/abs/2202.09741 Code Link : https://github.com/Visual-Attention-Network blog参考： https://mp.weixin.qq.com/s/cTKOZ3gODdiqpuvPGoqAmQ 1 简介 简单的将自然语言处理中的自注意力机制拿到计算机视觉中是否合理 ？ 卷积的优点是可以充分利用图像本身的2D结构信息。 而自注意力机制的优点...
Visual Attention Network（VAN）算法分析
weixin_38353277的博客
05-20 2136
Visual Attention Network 网络结构详细解释
深度网络设计技巧(五)之VAN：Visual Attention Network#超越Swin的纯CNN#
wqthaha的专栏
07-10 1830
今天了解一个卷积的新操作，即解耦卷积。说是新，其实旧，比如MobileNet为了高效率地推断，将一个标准的CNN看成一个Depth-wise CNN和Point-wise CNN，即解耦。本篇文章将一个更大的卷积核解耦成三个不同类型的CNN操作。虽然取得了超过众多SOTA的性能，但是在MLP中采用经典的DW-FFN，究竟是MLP带来了性能提升，还是大核注意力起了作用，有点存疑！............
Visual Attention
RuiLog
04-09 746
what is visual attention mechanism?
visual attention network
03-16
视觉注意网络(Visual Attention Network)是一种机器学习模型，它能够使用注意力机制来识别图像中的重要部分。这种网络通常由两部分组成，一部分是特征提取器(feature extractor)，另一部分是注意机制(attention mechanism)。特征提取器会提取出图像中的特征，注意机制则会根据这些特征来决定哪些部分需要更多关注。这种方法使得视觉模型能够更好的理解图像的细节，并且在许多视觉任务中都取得了很好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值