图像领域：注意力机制（含代码）

在图像领域，注意力机制（Attention Mechanism）是一种能够让模型聚焦于图像关键部分的技术，它极大提升了图像相关任务的性能。

注意力机制原理

• 模仿人类视觉：人类视觉系统不会一次性处理整个场景，而是有选择性地聚焦在重要区域 。注意力机制模拟了这一特性，帮助神经网络在处理图像时，分配不同权重给图像的不同区域，着重关注关键信息，忽略无关紧要的部分。
• 核心计算：通过生成注意力权重图实现。以卷积神经网络（CNN）为例，在特征提取的基础上，模型额外学习一组参数，利用这些参数与图像特征进行点积等运算，输出注意力权重，权重越大的区域越受关注。

---

注意力类型

• 通道注意力机制：CNN 里不同卷积通道捕捉到图像不同语义信息，通道注意力就是给这些通道分配权重。像是识别一幅风景照时，它能强化包含天空、山峦等关键语义的通道，弱化关联性不强的通道，让特征表达更具判别力。
• 空间注意力机制：聚焦图像二维平面空间里的重要区域。它依据图像不同位置的特征差异，计算每个位置的注意力分数。比如在图像分类任务中，空间注意力可以凸显物体主体所在位置，抑制背景干扰，使得分类更精准。
• 混合注意力机制：同时考虑空间与通道维度，结合二者优势。先分别计