【ResNeSt】ResNeSt:Split-Attention Networks

最新推荐文章于 2021-11-12 14:14:10 发布
最新推荐文章于 2021-11-12 14:14:10 发布
阅读量1.5k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/github_37973614/article/details/105599359
ResNeSt网络是对ResNet结构的改进，旨在增强通道层面的交互和解决感受野限制问题。通过Split-Attention模块，提高了在分类、检测和分割任务中的性能。在ImageNet上，ResNeSt-50达到高精度，并在MS-COCO和ADE20K数据集上提升mAP和mIOU。训练策略包括大型Mini-batch、Label Smoothing等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
代码(有pytorch和mxnet两个版本)
论文(亚马逊团队张航 李沐)

文章目录

概述

简介

文章很直接，主要是对ResNet这样的基础主干网络去进行结构上的细节设计。本论文之所以要去对ResNet结构进行改动，论文里也说到了：

  • 一是因为ResNet设计之初来说，基本上很大程度上是去考虑对分类的影响的，尽量去让结构对分类结果有利。但是这样子就对其它任务，诸如检测，分割，姿态估计（论文给出的理由是：感受野尺寸的限制以及缺乏在channel层面上的交互）
  • 第二就是虽然现阶段NAS去搜索网络结果俨然成为一种设计结构的方向，但是NAS所针对的分类任务表现很好，不过利用这样的结构很难进行好下游任务：检测、分割之类的（理由：NAS网络内部的元结构彼此之间的差异性让他们来做下游任务比较hard），所以作者们就还是来改一改ResNet网络啦。。。

文章主要基于ResNeXt、

最低0.47元/天 解锁文章
深度学习论文: ResNeSt: Split-Attention Networks及其PyTorch实现
mingo_敏
04-26 3619
ResNeSt: Split-Attention Networks PDF:https://hangzhang.org/files/resnest.pdf PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks 1 ResNeSt：注意力分割网络 ResNeSt是基于ResNet，引入了Split-Attention块，可以跨不同的...
CVPR2021论文复现：ResNeSt: SplitAttention Networks
AI天才研究院
08-30 1049
作者：禅与计算机程序设计艺术 1.简介 ResNet是最早提出的神经网络模型之一，其被广泛使用在图像分类、目标检测和语义分割等领域中。近年来，随着越来越多的研究者关注视觉任务的深度学习模型，其结构越来越深，参数量越来越大，训练速度也越来越慢。为了解决这些问题，在深度学习的发展历史上出现了很多神经网络变体
20200417_ResNeSt Split-Attention Networks.pdf
04-20
ResNeSt Split-Attention Networks，ResNet的一个变形，取得了很好的效果
ResNest:Split-Attention Networks
qq_40586364的博客
04-29 1197
1.文章动机 针对识别的网络结构自ResNet以来已经发生了很多改进版本，这些网络的在精度和效率上都得到了提升，但是这些网络的设计初衷都是为分类网络，对于下游应用如检测，分割并不是十分友好，所以这些网络目前基本还是以ResNet作为架构，并且做一些特定的优化如PPM(金字塔池化)等等，因此本文考虑设计一种基于ResNet的通用改进网络，无论是上游还是下游任务均有很大提升。并且之前的研究表明，跨通道...
ResNeSt: Split-Attention Networks
皮皮飞的博客
04-20 5560
代码地址： 提供PyTorch和MXNet双版本：https://github.com/zhanghang1989/ResNeSt 动机： 1.由于ResNet模型最初是为图像分类而设计的，它们可能不适合各种下游应用，因为接收场大小有限且缺乏跨通道交互。这意味着提高特定计算机视觉任务的性能需要网络手术来修改ResNet，使其对特定任务更有效。 2.最近的工作通过大规模神经档案结构搜索(NAS)显著...
《ResNeSt: Split-Attention Networks》阅读笔记
69小石头的博客
05-10 2514
ResNeSt：注意力分散网络 摘要：尽管图像分类模型最近一直在继续发展，但是由于其简单且模块化的结构，大多数下游应用程序（例如对象检测和语义分段）仍将ResNet变体用作骨干网。 我们提供了一个模块化的Split-Attention块，该块可实现跨功能图组的关注。 通过以ResNet样式堆叠这些Split-Attention块，我们获得了一个称为ResNeSt的新ResNet变体。 我们的网络保留了完整的ResNet结构，可直接用于下游任务，而不会引起额外的计算成本。 ResNeSt模型的模型复..
《ResNeSt: Split-Attention Networks》笔记
qq_24548569的博客
04-25 1250
Introduction NAS系列方法大大提升了图片分类的精度，但是这些NAS系列方法是基于特定任务搜索出来的网络结构，提取出来的特征泛化性不高。而且NAS系列模型的训练效率和内存使用效率不高。NAS系列模型消耗很多内存，有些大模型不能使用合适的batch-size在GPU上训练。这限制了NAS系列模型用于其他应用，比如需要密集预测的分割任务。大多数针对计算机视觉任务的工作依然使用ResNet模...
【Resnet最强变体】ResNeSt学习笔记 --- ResNeSt: Split-Attention Networks
热门推荐
梦坠凡尘
04-17 1万+
代码：https://github.com/zhanghang1989/ResNeSt 论文：https://hangzhang.org/files/resnest.pdf 尽管图像分类模型最近不断发展，但是由于其简单而模块化的结构，大多数下游应用程序（例如目标检测和语义分割）仍将ResNet变体用作backbone。ResNeSt展示了一个简单的模块：Split-Attention，该块可实现跨...
[Paper Reading] ResNest: Split-Attention Networks
nwpuxhld
03-06 327
ResNest: Split-Attention Networks Motivation Channel维度的Attention可以对特征图维度之间的相互依赖关系建模去选择重要或者是应该被忽略的特征。 Contribution 提出了ResNest 网络结构，他将Multi-Path和Attention的机制相结合。 可以用于分类、检测等多个领域，且取得了不错的效果 Methodlogy ResNest Block 最主要的结构图如下图所示，下图展示了ResNestBlock。 它首先将输入特征图
【论文阅读】ResNeSt: Split-Attention Network
闻韶
04-17 1056
ResNet 改进版新作，性能强悍，在多个任务上霸榜！近年来，图像分类模型不断发展，但由于其结构简单、模块化，大多数随之出现下游应用如目标检测、语义分割等仍然采用 ResNet 变体作为 backbone。我们提出了一个模块化的分散注意力块 (Split-Attention block)，使注意力能够跨越feature map group。通过堆叠这些 ResNet 风格的 Split-Attention block，我们得到了一个新的 ResNet 变体，我们称之为 ResNeSt 。我们的网络保留了整
ResNet最强改进版来了！ResNeSt：Split-Attention Networks
fengdu78的博客
04-24 5870
《ResNeSt: Split-Attention Networks》作者团队：亚马逊（张航和李沐等）&UC Davis代码（提供PyTorch和MXNet双版本）：https:...
论文阅读：ResNeSt: Split-Attention Networks
j879159541的博客
10-08 1555
文章目录1、论文总述2、1乘1卷积相当于一种注意力机制3、ResNeSt网络结构4、SKNet网络结构5、ResNeSt的两种等价实现6、ResNeSt对resnet网络结构上的改动7、ResNeSt训练时候使用的tricks8、Ablation study9、ResNeSt与其他模型的效果对比10、附录中的彩蛋参考文献 1、论文总述 本篇论文在投稿阶段就在知乎上引发了广泛讨论，争议很多，这个争议我觉得不仅仅是ResNeSt特有的，而是现在的好多学术论文都有的问题，争议点就在于：文中提出的模型在数据集上提高
【论文】ResNeSt: Split-Attention Networks
joyce_peng的博客
01-24 623
目录 作者试图解决什么问题 研究方法的关键是什么 哪些东西可以为你所用 哪些参考文献可以跟进 一. 作者试图解决什么问题 二. 研究方法的关键是什么 split-attention 论文贡献点，提出split-attetTT ...
ResNeSt：Split-Attention Networks（翻译）
zahidzqj的博客
05-07 2502
《ResNeSt: Split-Attention Networks》 作者团队：亚马逊（张航和李沐等）&UC Davis 代码（提供PyTorch和MXNet双版本）： 代码：https://github.com/zhanghang1989/ResNeSt 论文：https://hangzhang.org/files/resnest.pdf 摘要 近年来，图像分类模型不断发展，...
ResNeSt
Major_S的博客
06-20 460
待留
ResNeSt: Split-Attention Networks论文学习
calvinpaean的博客
05-19 1736
Abstract 尽管图像分类的表现最近不断提升，大多数应用如目标检测和语义分割仍然采用ResNet的变体作为主干网络，因为它很简单而且是模块化结构。本文提出了一个简单而模块化的 split-attention 模块，使我们可以在特征图分组里实现注意力。 ...
resnest
liguandong
11-12 1273
ResNeSt 实现有误？ - 知乎ResNeSt 这个工作在发布以来，收到了很大的关注。然而知乎和GitHub上有人质疑 ResNeSt 的核心代码存在错误，在这里从我的角度详细讲讲 ResNeSt 的实现，看看到底有没有问题。如有介绍不正确的地方，还请 @张航 等…https://zhuanlan.zhihu.com/p/135220104关于ResNeSt的点滴疑惑 - 知乎20200423补充：中午吃饭时间看到了一篇为ResNeSt“正名”的文章，链接如下。可能 @Amusi 没有深入去对比分析Re
resnest: split-attention networks
最新发布
09-04
resnest: split-attention networks是一种基于注意力机制的神经网络模型，它可以在处理多个输入时分别关注每个输入的不同部分，从而提高模型的准确性和效率。该模型可以应用于图像分类、目标检测等任务中。 ### ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值