残差注意力网络用于图像分类（Residual Attention Network for Image Classification ）

一壶浊酒..

于 2022-10-31 10:59:41 发布

阅读量2.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：深度学习 pytorch 人工智能

本文链接：https://blog.youkuaiyun.com/qq_40107571/article/details/127609323

深度学习专栏收录该内容

100 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了残差注意力网络在图像分类中的应用，通过堆叠注意力模块和残差学习来提升深度卷积神经网络的判别能力。网络包含主干分支和掩码分支，掩码分支使用自底向上自上而下的结构学习掩码，实现对主干分支输出的门控。通过注意力残差学习，解决了掩码输出范围限制和掩码分支可能破坏主干分支的问题。网络还探讨了空间注意力和通道注意力的不同实现方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

残差学习大大增加了前馈神经元网络的深度。使用注意机制捕获两个信息源 (查询和查询上下文)，以相互帮助。在我们的工作中，单个信息源 (图像) 被分成两个不同的信息源并反复组合。并应用残差学习来缓解反复拆分组合带来的问题。

然而，图像分类的最新进展集中在使用 “非常深” 的结构训练前馈卷积神经网络 [27,444，10]。前馈卷积网络模仿了人类皮层的自下而上的路径。已经提出了各种方法来进一步提高深度卷积神经网络的判别能力。提出了VGG [27]，Inception [444] 和残差学习 [10] 来训练非常深的神经网络。随机深度 [14]，批归一化 [15] 和Dropout [28] 利用正则化进行收敛并避免过拟合和退化

我们的残差注意力网络中软注意力结构的设计受到了面向定位的任务的最新发展的启发，即分割 [22,25，1] 和人类姿势估计 [24]。这些任务促使研究人员探索具有细粒度特征图的结构。框架倾向于级联自下而上和自上而下的结构。自下而上的前馈结构产生具有强语义信息的低分辨率特征图。之后，自上而下的网络会产生密集的特征以在每个像素上进行推断。在底部和顶部特征图之间采用了跳过连接 [22]，并在图像分割中获得了最新的结果。最近的堆叠沙漏网络 [24] 融合了来自多个尺度的信息来预测人类姿势，并受益于编码全局和本地信息。