卷积加法自注意力CASAtt详解及代码复现

自注意力机制简介

自注意力机制（Self-Attention）是一种 特殊的注意力机制 ，允许模型在处理序列数据时考虑每个元素与其他所有元素的关系。这种机制通过计算查询、键和值向量，帮助模型更好地理解序列中的上下文信息。自注意力机制的核心在于计算每个元素的权重，反映元素之间的相互关系。这种方法能够有效捕捉序列中的长程依赖关系，从而提高模型对序列数据的处理能力。

自注意力机制是Transformer架构的重要组成部分，在自然语言处理、计算机视觉等领域得到广泛应用。它的提出解决了传统循环神经网络（RNN）和卷积神经网络（CNN）在处理长序列数据时的局限性，为深度学习模型在处理长文本和图像等数据类型时提供了新的思路和方法。

卷积注意力概念

卷积注意力机制是深度学习领域的一项重要创新，它将注意力机制与卷积神经网络相结合，以提升模型对特征的选择和加权能力。这种机制通过计算特征图中不同位置和通道的重要性，使模型能够更有效地聚焦于关键信息。

CBAM（Convolutional Block Attention Module）是一种典型的卷积注意力模块，它 沿通道和空间两个维度依次推断注意力图 ，然后将其与输入特征图相乘，实现自适应特征优化。CBAM的优势在于其