Attention总结（自用，不定期更新）

最新推荐文章于 2025-12-30 10:23:48 发布

原创最新推荐文章于 2025-12-30 10:23:48 发布 · 140 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #人工智能 #深度学习

医学图像知识同时被 2 个专栏收录

18 篇文章

订阅专栏

CV/NLP知识点

14 篇文章

订阅专栏

博客围绕通道注意力展开，介绍了Squeeze-and-Excitation Networks（SENet）和Selective Kernel Networks。SENet的高效率源于squeeze和excitation两个模块，squeeze通过全局池化减少空间维度计算和参数，excitation在通道维度先降再升以减少参数。

Channel Attention

Squeeze-and-Excitation Networks

在这里插入图片描述

SENet的高效率主要来自于2个模块：
（1）squeeze：global pool
将w*h压缩到了1减少了后续操作中对spatial维度的计算和参数。
（2）excitation：通道维度先降再升
如果直接用一个c->c的FC，那么参数为c2；如果先降再升用两个FC，那么参数为(c2)/r+(c**2)/r，原文中r=16，那么参数就变为了一个FC的1/8.
（为什么r=16？？？）