注意力机制是机器学习中一种重要的数据处理方法，尤其在自然语言处理和计算机视觉任务中广泛应用。它模仿人类注意力，让模型能聚焦在输入序列中的关键部分。注意力机制包括通道注意力、空间注意力和混合域注意力，分别通过对通道、空间或两者同时进行评分来增强模型的表示能力。例如，SENet和SpatialAttentionModule是其典型代表。
*** 什么是注意力机制？***
注意力机制（Attention Mechanism）是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。
通俗来讲：注意力机制就是希望网络能够自动学出来图片或者文字序列中的需要注意的地方。比如人眼在看一幅画的时候，不会将注意力平等地分配给画中的所有像素，而是将更多注意力分配给人们关注的地方。
注意力机制可以分为：
通道注意力机制：对通道生成掩码mask，进行打分，代表是senet, Channel Attention Module
空间注意力机制：对空间进行掩码的生成，进行打分，代表是Spatial Attention Module
混合域注意力机制：同时对通道注意力和空间注意力进行评价打分，代表的有BAM, CBAM
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
