U-Net: Convolutional Networks for Biomedical Image Segmentation

Abstract

U-Net使用数据增强技术来更高效的使用大数据样本（比如15001500）
可以实时分割，在当时的最新GPU中，512512的分割速度不到1s .

1.Introduction

在生物医学图像上进行语义分割，通常没法获得像ImageNet数据集那样，数以百万的训练数据集。并且希望有定位（localization）的输出。

通过滑动窗口（Unet之前的方法）来进行语义分割（通过提供输入象素周围的局部区域）：
基于滑动窗口的语义分割成功的原因：

1. 可以本地化（localize）
2. 基于补丁（patches）（标记的滑动窗口）的训练数据远远大于训练图像的数据

滑动窗口的缺点：

1. 速度很慢（为每个滑动窗口单独运行，重叠的地方有重复的训练 redundancy）
2. 权衡了 定位的准确性（localization accuracy）与定位准确性
3. 较大的补丁需要更多的最大池层来降低定位精度，而较小的补丁只允许网络看到很少的上下文

FCN：用连续的层来补充通常的收缩网络（contracting network），上采样操作取代池化操作。因此，这些层提高了输出的分辨率。为了定位，收缩路径的高分辨率特征与上采样相结合。

特点：

1. 可以处理很少的训练图像，并且产生更精确的分割。
2. 样本的象素最低是32分辨率
3. 上采样的部分有大量的特征通道，可以将上下文的信息传播到更高分辨率的层
4. overlap-tile strategy:可以用于任意大图像的无缝分割，输入蓝色区域内的图像数据，预测黄色区域的分割。丢失的输入数据通过镜像（mirroring）外推。
   这种策略对于将网络应用于大型的图像非常重要，否则分辨率会受到GPU内存的限制。
   
5. 数据增强：elastic deformations（弹性变形）
   可以让网络学习到这种变形不变性（learn invariance to such deformations），不需要拥有这种变换的样本。这个在生物医学中很重要，在别的分割任务中不一定要有，变形是在生物组织中最常见的方式，通过弹性变形，可以有效的模拟真实的变形。
   Dosovitskiy证明了在无监督特征学习的范围内 数据增强对于学习不变性的价值。

6.分离同一类的接触的对象。

a:原始图像（HeLa cell）
b:Ground truth 不同的颜色代表不同的实例
c:生成分割标记 白色：前景 黑色：背景
d: 使用像素级的损失映射（map with a pixel-wise loss）来强制网络学习边界像素

我们提出了一种加权损失的方法，在这种方法中，在损失函数中，分离背景标签在接触的细胞之中获得教大的权重。

2.Network Architecture

由contracting path 和 expansion path 组成（23层）
contracting path：卷积的典型结构，每一个下采样的步骤之中，我们将特征通道的数目加倍，
expansion path：将特征的数目减半，与来自收缩路径的相应裁剪的特征映射的级联，由于每次卷积都会丢失边界像素，因此必须进行裁剪，在最后一层，使用1x1卷积将每个64分量特征向量映射到所需的类数。

为了实现无缝平铺，选择输入平铺的大小很重要，可以使得所有的2x2最大值池化都应用于有均匀x和y的层。（也没说怎么选择）

3.Training

使用框架：Caffe
优化器：Stochastic gradient descent
使用高动量（high momentum）：0.99

由于unpadded convolutions,输出的大小一般比输入的大小要小一个恒定的边界宽度。
为了最大限度的使用GPU，建议batch_size=1, 图片的尺寸尽可能大
energy function:最后一个特征层的象素的softmax和交叉熵损失函数结合 来计算
softmax:

在特征通道k层 像素位置x处的激活值
K：类别数目
近似的最大函数

交叉熵损失函数：惩罚每个位置的偏差

:每个像素真实的label
：权重映射（weight map）:引入了一些像素，使其在训练中更加的重要

a:原始图像（HeLa cell）
b:Ground truth 不同的颜色代表不同的实例
c:生成分割标记 白色：前景 黑色：背景
d: 使用像素级的损失映射（map with a pixel-wise loss）来强制网络学习边界像素

我们预先计算每个ground truth分割的权重图，以补偿训练数据集中某一类像素的不同频率，并强制网络学习我们在触摸细胞之间引入的小分离边界（c d）

：平衡类频率的权重图
:到达最近细胞边界的距离
:到达第二近细胞边界的距离
论文中设置的参数

网络的初始化方法：
标准差为的高斯分布，N：神经元传入节点的数目
E.g. 上一层的3x3和64个特征层， N=3x3x64

3.1 Data Augmentation

让样本的数目很少的时候，数据增强可以让网络更好的学习期望不变性和鲁棒性。
显微镜的图像主要需要平移和旋转的不变性以及对灰度和灰度变化的鲁棒性。
其中对于样本数目很少的情况，随即弹性变形（random elastic deformations）是很关键的。

我们在3×3粗网格上使用随机位移向量生成平滑变形。位移是从一个10像素标准差的高斯分布中采样的。然后使用双三次插值计算每像素位移。收缩路径（contracting path）末端的Drop-out层执行进一步的隐式数据扩充（implicit data augmentation）

4 Experiments

u-net在没有任何进一步预处理或者后处理的情况下实现了0.0003529的翘曲误差（warping error）以及0.0382的随机误差。
翘曲误差是新的最佳分数。
IDSIA使用的基于滑动窗口的语义分割方法。
IDSIA-SCI使用的是应用于概率图的具体的后处理方法。随机误差最小

U－net应用于光镜图像中的细胞分割任务中

（１）PhC-U373（ａ　ｂ）35个样本，92%mIOU > 83%
（２）DIC-HeLa（ｃ　ｄ）20个样本77.5%mIOU＞＞46%（第二高的）

5 Conclusion

弹性可变（elastic deformations）数据增强，只需要很少的数据样本就能获得不错的效果。