86、利用注意力机制增强 EfficientNet 实现精准胸部 CT 图像分析及空气质量问题研究

利用注意力机制增强 EfficientNet 实现精准胸部 CT 图像分析及空气质量问题研究

1. 注意力机制与 EfficientNetB0 V2 模型

在图像分析任务的深度学习模型中，软注意力和通道注意力是两种常用机制。软注意力能够有选择地聚焦于图像中的特征图，为每个特征图分配独特权重，以此表明其对目标预测的重要性，助力模型学习图像中对精确诊断最为关键的区域。而通道注意力则基于特征的通道间依赖关系对特征图进行加权，使模型了解哪些通道对准确预测最为重要，通过选择性地放大或抑制重要通道，形成更精确的特征表示。

通道注意力的特征图注意力得分计算公式如下：
[f’ = \sigma (W_2\delta (W_1 f )) \otimes f]
其中，(f) 代表输入特征图，(W_1) 和 (W_2) 是可学习的权重，(\delta) 表示非线性的通道变换，如 ReLU 或 sigmoid 激活函数，(\sigma) 表示 soft - max 操作，(\otimes) 表示逐元素相乘，(f’) 是经过通道注意力后的输出特征图。

软注意力的上下文计算公式为：
[a = \sigma ( f (W_3\delta ( f (W_2\delta ( f (W_1X))))) V]
这里，(X) 表示输入特征图，(W_1)、(W_2) 和 (W_3) 是可学习的卷积核，(\delta) 同样表示非线性的通道变换，(\sigma) 为 soft - max 操作，(f()) 表示先进行卷积操作再应用激活函数的函数，(V) 表示输出特征图，(a) 是注意力图，提供输出特征表示中每个通道重要性的信息。

EfficientNetB0 V2