【论文】ResNeSt: Split-Attention Networks

最新推荐文章于 2025-01-28 09:20:39 发布

原创

最新推荐文章于 2025-01-28 09:20:39 发布 · 681 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

本文详细介绍了ResNeSt模型，该模型通过split-attention机制融合了Multi-path、Feature-map Attention的思想。ResNeSt在分类任务中表现优秀，并在目标检测、实例分割和语义分割等迁移学习任务中取得SOTA成果。关键点包括split-attention block的设计，其将特征分为多个组进行处理。论文中还应用了label smoothing、mixup、autoaugmentation等技巧提升性能。此外，ResNeSt的block结构具有通用性，可用于其他网络设计。推荐关注attention机制、ResNet家族及改进的相关研究。

论文：https://arxiv.org/pdf/2004.08955v1.pdf
代码：https://github.com/zhanghang1989/ResNeSt
B站讲解：https://www.bilibili.com/video/BV1PV411k7ch#reply3078900535
目录

作者试图解决什么问题
研究方法的关键是什么
哪些东西可以为你所用
哪些参考文献可以跟进

一. 作者试图解决什么问题

二. 研究方法的关键是什么

split-attention

论文贡献点，一是提出split-attetIon,二是resnest在迁移学习中，作为目标检测、实例分割、语义分割的backbone，均获得了sota效果。
思想概述：Resnest借鉴了Multi-path和 Feature-map Attention思想, GoogleNet使用了Multi-path思想，ResNeXt使用了组卷积，SE-Net使用了通道注意力，SK-Net通过两个分支引入了特征图注意力