基于空间注意力的多尺度深度神经网络集成的鼻咽癌肿瘤靶区自动分割

基于空间注意力的多尺度深度神经网络集成的鼻咽癌肿瘤靶区自动分割

Automatic Segmentation of Gross Target Volume of Nasopharynx Cancer using Ensemble of Multiscale Deep Neural Networks with Spatial Attention

1. 介绍

目的：在各向异性分辨率的CT图像中自动分割鼻咽癌的肿瘤靶区(Gross Target Volume,GTV)，同时我们估计分割结果的不确定性

难点：靶区小，分割目标与背景之间存在较大的不平衡。靶区与周围软组织对比度低。GTV边界模糊，会导致训练注释的噪声。通常以较高的面内分辨率和低的面间分辨率获取图像，导致相邻切片的形状发生较大变化。如图一所示：

图一：a为鼻咽癌低对比度轴向CT切片；b为a图像的手工划定GTV；c为CT图像的轴向和矢状面，第一行中的平面内分辨率较高，第二行中的白色箭头所标记的平面间分辨率较低。

解决方案：提出了一个2.5D的卷积神经网络(CNN)来处理不同的平面内和平面间的分辨率。同时提出了一个空间注意模块，以使网络能够专注于较小的目标，并利用通道注意进一步提高分割性能。

采用多尺度采样方法进行训练，使网络能够学习不同尺度的特征，并结合多模型集成方法提高分割结果的鲁棒性。还对分割结果的进行了不确定性估计

2. 方法

由四部分组成：1)基于HU截断、灰度归一化和图像裁剪的数据处理；2)结合面内注意模块和Project & Excite (PE)块[28]的2.5D CNN进行肿瘤靶区分割；3)基于多尺度信息融合的模型集成方法；4)分割结果的不确定性估计。整体架构如图二所示

图二：来自不同尺度图像训练的几个独立网络的概率映射被融合以生成初始分割结果。然后，我们选取最大的连通区域以获得最终的分割结果。

数据预处理

首先将所有图像的强度值截断到[-200,700]HU范围内，增加目标区域的对比度，然后进行归一化。为了保持相同的分辨率，为了得到更好的训练模型，将所有图像在x、y、z方向上的像素间距均匀插值为1 × 1 × 3 mm

具有平面内空间注意和通道注意的2.5D网络

骨架遵循U-Net 编码-解码器设计，一共有9个卷积块，每个卷积块包含两个卷积层，然后是BN和Leaky ReLU。除第一个卷积块外，每个卷积块前面都有一个PE块，因为第一个卷积块的输入是带一个通道的输入图像，PE块的主要目的是获取通道信息，同时考虑空间信息。注意力模块位于解码器中PE块和底部块的前面，以捕获小GTV区域的空间信息。最后一层由卷积层和提供分割概率的softmax函数组成。

图像输入切片大小和输出切片大小都是16×64×64，即它们具有相同的slice大小

平面内注意力模块

本文提出了一种提高GTV区域分割精度的注意力模块，它可以很好地利用空间信息，使网络能够聚焦于目标区域，如图四所示。注意力模块由两个卷积层组成，核大小为1×3×3。第一个卷积层将通道数量减少到一半，然后是一个ReLU激活函数。第二个卷积层进一步将通道数量减少到1个，然后通过sigmoid激活函数生成空间注意力映射。

空间注意力映射是注意力系数${\alpha }_i\in [0,1]$的单通道特征映射，表示每个空间位置i的相对重要性。然后将空间注意映射与输入特征映射相乘。并添加了残差连接促进更好的收敛。

（PS：感觉是为每层通道乘以一个权重，帮助网络把重要的特征信息学习到，像Squeeze-and-Excitation SE块，两者效果应该差不多）

图四：具有两个1×3×3卷积的注意力模块(AM)产生注意力映射以重新校准特征映射

Project & Excite (PE) Block

PE块首先沿着每条轴线投影特征映射，得到三个形状分别为D×1×1×C、1×H×1×C和1×1×W×C的特征映射，然后将其展开并相加在一起，最后得到一个形状为D×H×W×C的注意力映射。PE块与通道注意更相关，它给每个通道分配一个体素级别的注意力系数。如图五所示