Edge-aware U-net with gated convolution for retinal vessel segmentation

带门控卷积的边缘感知U-net用于视网膜血管分割

Biomedical Signal Processing and Control 【2021】

背景

视网膜血管，特别是微小血管的形态变化在特定心血管和眼科疾病的诊断和临床预后中起着重要作用。然而，视网膜血管，特别是视网膜血管分支的血管末端的精确分割往往较差。将新的边缘感知流引入U-Net编码器-解码器架构中，以指导视网膜血管分割，这使得分割对毛细血管的精细边缘更加敏感。具有门控卷积的边缘门控流只关注边缘表示，并使用从编码器路径中提取的特征来学习强调血管边缘，并导出边缘预测结果。边缘下采样流然后从边缘预测结果中提取边缘特征，并将它们反馈到解码器路径中以细化分割结果。

贡献

1. 提出了一种基于U-Net编码器-解码器结构的具有门控卷积的边缘感知深度网络，用于视网膜血管的有效语义分割。
2. 设计了语义分割流、边缘门控流和边缘下采样流来形成多任务训练。边缘门控流使用从语义分割流编码器路径提取的特征来学习突出边界，并导出血管边缘预测结果
3. 引入了一种边缘下采样流，将从边缘门控流输出中提取的多尺度边缘特征提前融合到语义分割流的解码器路径中，以在血管边缘周围产生更清晰的预测，这显著提高了对微小血管的性能。

实验

数据集：公开的视网膜眼底图像数据集来评估我们提出的方法。DRIVE数据集[17]包含40张健康成年人和患有轻度糖尿病视网膜病变的成年人的眼底图像，包括20张训练图像和20张测试图像。每张图像的分辨率为584×565。STARE数据集包含20个彩色眼底图像，其中10个图像为正常眼底图像，其他10个图像具有不同程度的病变。每张图像的分辨率为700×605。CHASE_DB1数据库[18]包含28个眼底视网膜彩色图像。我们选择前20张图像进行训练，其余8张图像进行测试。图像大小为960×999像素。

在实验开始前，每个图像及其标签都被裁剪成四块。通过这种方式，训练集中的数据得到了扩充。然后，训练集达到DRIVE的80张图像、STARE的40张图像和CHASE_DB1的80张图片。

方法

Semantic segmentation flow

解码器路径还集成了从边缘下采样流获得的边缘特征，然后将结果与来自编码器路径的相应特征图连接起来，这实现了更准确的分割结果，特别是小血管的边缘

Edge-gated flow

受这两种方法Gated-SCNN[13]edge-gated CNNs[14] 的启发，我们提出的方法还包括边缘门控流。与前两种方法不同，边缘门控流的输出是逐步下采样的。提取的边缘特征被转移到U-Net解码器路径的相应级别，以提前参与分割流

确保该流程只处理图像的边界信息。它包括一个1×1卷积，然后重复应用边缘门控块和残差块。我们采用二进制交叉熵（BCE）损失函数和边缘地面实况（GT）进行监督训练来预测最终的图像边界。边缘GT是通过canny边缘滤波器检索的图像梯度。

Edge-Downsampling flow

如前所述，通过边缘下采样流从边缘门控流输出中逐步提取边缘特征。通过第一次下采样提取D1边缘特征层，然后通过跳跃连接与U-Net的最后一个上采样层连接。然后通过下一次下采样从D1层中提取D2边缘特征层，并与U-Net的相应比例上采样层连接。我们对D3层和D4层执行类似的操作

训练策略

Multitask training
整个网络由三部分组成：语义分割流、边缘门控流和边缘下采样流。多任务训练的想法借鉴了FusionNet[15]Fusionnet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images，但不同的是，我们的网络训练是分步骤进行的，而不是并行进行的。我们将模型的训练过程分为两个步骤。首先，边缘门控流使用从语义分割流编码器路径中提取的特征图来学习强调边缘，并导出边缘预测结果。该训练步骤由Le损失函数监督。当第一步完成时，语义分割流编码器路径和边缘门控流的网络参数都被冻结。其次，边缘下采样流从边缘结果中提取边缘特征，并将其反馈到语义分割流解码器路径中，以细化分割结果。然后，语义分割流程整合所有数据特征来预测最终的分割结果。我们采用Ls损失函数来监督这一训练步骤。

损失函数

都是二元交叉熵

Thinking

使用语义分割流编码器的每一层特征提取边缘特征，边缘特征图和边缘图计算二元交叉熵Le，把最后输出的边缘特征经过逐层下采样拼接到语义分割流的解码器上。辅助分割