【阅读笔记】《CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation》

本文记录了博主阅读论文《CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation》的笔记，代码。更新于2019.06.24。

摘要

Introduction

心脏CT体元（cardiac CT volumes）中的心脏分割可以应用于多种医疗领域。难点：由于GPU限制，图片被分成小部分进行分割，这种方法求是了全局约束，而且由于心脏只占全局的一小部分，因此也浪费了大量的计算资源。

本文提出了一种基于检测的分割方法，从而让分割网络能够关注CT图像中最相关的部分，而不需要处理整个图像。CFUN的检测和定位网络基于Faster R-CNN，分割网络基于3D U-Net，同时也做了一些重要的修改。

与传统Faster R-CNN处理多个不同目标的boxes不同，这里强迫检测网络只能识别一个包括了整个心脏标注结构的bounding box。考虑到CT图像特性和3D边界损失，Faster R-CNN中的ResNet结构被替换成了P3D Bottleneck。

Related Work

Traditional Methods

3D U-Net Based Segmentation Network

3D U-net直接以3D体元为输入。尽管效果不错，但是其需要结合tiling strategy。具体而言，将3D体元切割成有顺序的小图块，分别送入神经网络，再将输出缝合起来得到最终的分割结果。考虑到心脏图片中的大部分都属于背景，这种操作会浪费大量的计算量。

可以两段处理：第一段分割粗略的心脏图像，第二部分输出原始分辨率下的分割结果。

Faster R-CNN and Region-proposal Based Segmentation

网络可以同时实现检测、分类和分割，也有一些尝试将Mask R-CNN应用到医学图像分割。

Method

CFUN包括连续的两部分：一个修改过的3D Faster R-CNN来生成以心脏为中心的bounding box；和一个3D U-net，用Edge-loss head计算边缘信息并比较其与真实边界来分割以心脏为中心的图片。测试过程不需要Edge-loss head。

Heart Detection and Localization

通过用3D kernel替换所有的2D kernel将Faster R-CNN扩展到3维。由于$z$轴上的分辨率与其他两个轴是不同的，因此用P3D ResNet替换了Faster R-CNN中的ResNet。

同时，在P3D网络后面还增加了FPN（Feature Pyramid Networks）来整合不同分辨率下的特征图。在CFUN网络中，这两个子网络组成了RPN（region proposal network）部分。

Heart Segmentation

将修改后的3D U-net结构作为CFUN网络的分割部分。与Mask R-CNN整合特征图作为分割网络的做法不同，这里级联了在bounding box内的原始的CT图像，这里可以韩做事分割的一个独立部分。尽管Mask R-CNN证明了可以同时学习检测和分割的特征，但是作者的剥离实验证明了考虑到large RoI-align size（64x64x64），这么做的难度大且推理效果不太好。这里借鉴了深度监督（深度残差）的概念。

Edge-loss Head and Loss Function

受到这篇论文的启发，在精度损失上有增加了边缘损失，其证明了这么做不仅能够增加精度，而且有助于加速收敛。具体而言，作者应用了固定的3D Sobel-kernels在最终的估计图上，同时也包括原来的one-hot真值之间的$l_2$损失计算。

共涉及了6个3D Sobel-kernels，分别对应6个方向（$x,y,z$和其反向），每个核尺寸均为$3\times 3\times 3$，中间的$3\times 3$矩阵$S_{}$