attention　门　　cat add　caption field

最新推荐文章于 2025-08-15 16:20:39 发布

转载最新推荐文章于 2025-08-15 16:20:39 发布 · 86 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lllcccddd/p/10558801.html

文章标签：

#人工智能

博客主要介绍了人工智能中Attention机制，将其比作门，还阐述了sigmoid和softmax的作用，前者类似多个门，后者类似只能进一个门的机制。以图片为例说明如何通过sigmoid输出形成热力图，还提及Attention门的多种形式及加权方式，最后提到cat add针对不同感受野的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

attention就是一个门，sigmoid是if elif 几很多门，能进去的也有很多门，而softmax类似于switch　 for，即很多门里面只能进入一个门

决定通路与闭路，一张图片１０＊１０，可能关注的点就是中间的一部分和左下角的一部分，那么中间的一部分就是通路，sigmoid输出尽量为１，左下角也是sigmoid为１，其余都是０，所以不会通过，这也就是热力图。

具体得到这个featuremap无所谓，但是最后要么sigmoid,要么softmax

attention就是一个门，但是得到这个门，可以有多种方式，也可以有多种形态，比如这个门最简单就是可以是一个列向量，然后与一个列向量相乘，也可以是一个featuremap,前提是只有一个值，也可以是类似senet,即每个channel认为是门，即有些channel认为是通路，有些认为是闭路，反正就是一个加权的东西，然后与原来的进行加权和。

cat add 是针对不同感受野的问题，可能针对检测或者多任务分类，最后是针对不同大小的物体进行输出，所以，

越往后感受野越大，也就是感受区域大，小的可能关注不了

转载于:https://www.cnblogs.com/lllcccddd/p/10558801.html