论文笔记SAR-U-Net: Squeeze-and-excitation block and atrous spatial pyramid pooling based residual U-Net

结合 SE、ASPP 和残差结构用于从 CT 图像中自动分割肝脏的改进 U-Net 网络

ELSEVIER  Comput.Methods Programs Biomed 2021

       SENet由一系列SE block组成，一个SE block的过程分为Squeeze（压缩）和Excitation（激发）两个步骤。其中Squeeze通过在Feature Map层上执行Global Average Pooling得到当前Feature Map的全局压缩特征向量，Excitation通过两层全连接得到Feature Map中每个通道的权值，并将加权后的Feature Map作为下一层网络的输入，也称为SE通道注意力机制。从上面的分析中我们可以看出SE block只依赖于当前的一组Feature Map，因此可以非常容易的嵌入到几乎现在所有的卷积网络中。

 

       空间金字塔池化（SPP），使得任意大小的特征图都能够转换成固定大小的特征向量，这就是空间金字塔池化的意义（多尺度特征提取出固定大小的特征向量），送入全连接层。整体框架大致为：输入图像，卷积层提取特征，空间金字塔池化提取固定大小特征，全连接层。

 

       受到SPP的启发，语义分割模型DeepLabv2中提出了ASPP模块，该模块使用具有不同采样率的多个并行空洞卷积层。为每个采样率提取的特征在单独的分支中进一步处理，并融合以生成最终结果。该模块通过不同的空洞rate构建不同感受野的卷积核，用来获取多尺度物体信息。

       ASPP是由空洞卷积（Atrous/Dilated Convolution）组成。如果想要对图片提取的特征具有较大的感受野，并且又想让特征图的分辨率不下降太多（分辨率损失太多会丢失许多关于图像边界的细节信息），这两个是矛盾的，想要获取较大感受野需要用较大的卷积核或池化时采用较大的stride，对于前者计算量太大，后者会损失分辨率。而空洞卷积就是用来解决这个矛盾的（即可让其获得较大感受野，又可让分辨率不损失太多）。

 

1.在U-Net中编码器的卷积之后，引入attention机制，使其能够自适应地推导图像特征，同时抑制不相关区域，从而保证网络专注于与图像相关的特征。具体的分割任务。

2.将U-Net解码器的过渡层和最终输出层替换为ASPP，从而达到提取更丰富的多尺度特征信息的目的。

3.将 U-Net 的标准卷积层替换为残差结构，并附加一个批归一化层，从而促进更快的收敛，消除梯度消失问题，并通过训练更深的网络提高分割精度。

       所提出的网络 SAR-U-Net由形成对称结构的两部分组成：编码器和解码器部分。编码器负责特征提取，解码器负责特征定位。整个架构由8个残差块、4个池化层、4个SE（压缩和激发块）、2个ASPP和4个上采样块组成。卷积核大小为3x3，池化大小为2x2，输入图像为512x512x1。随着每个特征图像经过卷积、特征提取和池化等一系列操作，然后得到大小为512x512x1的二值分割图像。

       在整个网络中，传统U-Net的单元被残差学习结构所取代。相比之下，残差结构在单个前向传播的基础上增加了快捷连接，这样可以在不退化的情况下训练更深的网络，同时提取更多的判别特征。在残差单元中，在每个卷积之后执行批量归一化和ReLU激活操作。通过引入批量归一化，不仅可以降低模型对初始化参数的敏感性，而且在一定程度上发挥了正则化的效果。对于ReLU函数，由于它能够规避梯度消失问题，因此它被广泛用于激活。

       为了从编码器卷积的特征图中获取信息，在每个残差单元之后使用SE块，以自适应地提取图像特征。因此，由于通道注意机制，网络能够专注于特定的分割任务。SE块的具体操作如下：首先通过全局平均池化将每个通道的2D特征图（HxW）压缩成实数，然后加入全连接神经网络，非线性变换得到每个特征通道的权重，最后将上面得到的归一化权重应用于每个通道的特征，从而达到提取特定信息的目的。

       为了缓解多次下采样导致的分辨率下降问题，ASPP被用作网络的过渡层。ASPP 模块能够在多个尺度上捕获图像的上下文信息，这促进了在提取的特征图中包含多尺度语义信息。同样在decoder的输出端也引入了ASPP模块，与transition layer一起提高了准确率。