2021NIPS | 即插即用,标准化注意力机制NAM

最新推荐文章于 2025-05-14 23:30:04 发布

xdhe1216

最新推荐文章于 2025-05-14 23:30:04 发布

阅读量1.1w

点赞数 9

分类专栏：深度学习之注意力机制文章标签： keras 深度学习神经网络

本文链接：https://blog.youkuaiyun.com/u011447962/article/details/121663462

版权

NAM: Normalization-based Attention Module

paper:https://arxiv.org/pdf/2111.12419.pdf

code:https://github.com/Christian-lyc/NAM

摘要

注意机制是近年来人们普遍关注的研究兴趣之一。它帮助深度神经网络抑制较不显著的像素或通道。以往的许多研究都集中于通过注意力操作来捕捉显著特征。这些方法成功地利用了不同特征维度上的互信息。然而，它们没有考虑到权重的贡献因素，而权重能够进一步抑制不重要的信道或像素。本文利用权重的贡献因素来改善注意机制。使用一个批处理（BN）归一化的缩放因子，它使用标准偏差来表示权重的重要性。这可以避免添加在SE、BAM和CBAM中使用的全连接和卷积层。因此，提出了一种有效的注意机制——基于标准化的注意模块(NAM)。