大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享注意力机制的发展和应用。
作者&编辑 | 言有三
1 注意力机制的作用
注意力机制的作用就是找到真正感兴趣的区域，加以处理，使其更好地完成任务，Google DeepMind提出的STN模型是一个非常优秀的代表。它可以定位目标并且学习对应的形变，然后进行预处理降低模型学习难度，可以作为基础模型嵌入任何网络，同时它也是一个空间注意力模型。
2 自注意力机制
与全连接神经网络相比，卷积神经网络在每一层是局部的，采用了较小的卷积核，感受实际对应到原始图像空间较大的区域，而且随着网络的加深，感受野增加。但是感受野毕竟不是全图，如何能够获得更大的感受野呢？Non-Local就是一个拥有全局感受野的自注意力模型。
3 通道注意力机制
SENet(Sequeeze and Excitation Net)是2017届ImageNet分类比赛的冠军网络，本质上是一个基于通道的Attention模型，它通过建模各个特征通道的重要程度，然后针对不同的任务增强或者抑制不同的通道。
4 空间注意力机制
图像中不同区域的重要性是不同的，动态容量网络(Dynamic Capacity Networks)是一个空间注意力机制网络，通过两个子网络来实现。
5 融合空间和通道注意力
STN等模型是从空间维度进行Attention，SENet等模型是从通道维度进行Attention，当然我们也可以同时使用空间Attention和通道Attention机制，以CBAM为代表。
6 其他
除了以上基本的变种，注意力机制还有非常多的研究，包括：
(1) 空间注意力模型的各种设计。
(2) 通道注意力模型的各种。
(3) 自注意力模型的各种设计。
(4) 如何对多种注意力机制进行融合。
(5) 注意力机制与残差网络，分组网络等经典结构的结合。
(6) 注意力机制在各类计算机视觉任务中的具体应用。
以上内容，如果你不想自己学习，可以去我们知识星球的网络结构1000变板块—注意力机制板块阅读，纯属自愿，不愿勿喷。
有三AI知识星球
知识星球是有三AI的付费内容社区，里面包括各领域的模型学习，数据集下载，公众号的付费图文原稿，技术总结PPT和视频，知识问答，书籍下载，项目推荐，线下活动等资源，了解详细请阅读以下文章：
【杂谈】有三AI知识星球一周年了！为什么公众号+星球才是完整的？
【杂谈】万万没想到，有三还有个保密的‘朋友圈’，那里面都在弄啥！
转载文章请后台联系
侵权必究
往期精选
1万+
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
