计算机视觉中注意力机制基础知识（Attention Mechanism）

 

      最近学习了关于计算机视觉中的注意力机制一些基础知识，整理下，方便复习，也分享一下；

一、前言

 

 二、分类

也就是两类；软注意力与强注意力，如下

 

软注意力：

       为了更清楚地介绍计算机视觉中的注意力机制，这篇文章将从注意力域（attention domain）的角度来分析几种注意力的实现方法。其中主要是三种注意力域，空间域(spatial domain)，通道域(channel domain)，混合域(mixed domain)。

还有另一种比较特殊的强注意力实现的注意力域，时间域(time domain)，但是因为强注意力是使用reinforcement learning来实现的，训练起来有所不同。

  a、空间域

 

b、通道域

 

 

c、混合域

 

如下文章所示：

三、总结