*** 什么是注意力机制?***
注意力机制(Attention Mechanism)是机器学习中的一种数据处理方法,广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。
通俗来讲:注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方。比如人眼在看一幅画的时候,不会将注意力平等地分配给画中的所有像素,而是将更多注意力分配给人们关注的地方。
注意力机制可以分为:
通道注意力机制:对通道生成掩码mask,进行打分,代表是senet, Channel Attention Module
空间注意力机制:对空间进行掩码的生成,进行打分,代表是Spatial Attention Module
混合域注意力机制:同时对通道注意力和空间注意力进行评价打分,代表的有BAM, CBAM