U-net学习笔记

U-net首见于这篇论文U-Net: Convolutional Networks for Biomedical，距今7年，算是比较老的模型了，但是它的引用量突破了四万，由此看来，它的重要性不言而喻。U-net初始论文的标题就告诉我们，它是一个用于医学图像分割的卷积神经网络。在医学领域，如果仅仅对图像进行分类，这是不够的。医生在对病人进行医疗诊断时，需要综合更多的信息来得出病情的判断。

所以，U-net做的事就是，在已有图像类别的基础上，对图像进行进一步分类---即像素这一级别的分类(图像分割)，定位每个像素的类别，使图像中解剖或病理结构的变化更加清晰，最后输出根据像素点的类别而分割好的图像。

U-net网络架构理解

论文中的U-net网络架构如下：

# 上图图标以及操作讲解
蓝色图标：3*3 卷积操作 pad = 0 stride = 1  + ReLU激活函数(稀疏激活、收敛速度快、梯度计算简单)

红色图标：2*2 最大池化操作 pad = 0 stride = 2 下采样
# 每次下采样步骤后通道数翻倍，即64--->128--->256--->512--->1024  共四步

## 反卷积
反卷积本质还是卷积，并不是卷积的逆操作，而且也无法还原成原来的图像，只能还原图像的大小
绿色图标：up-Conv 上采样，每次上采样图像大小翻倍，通道数减半

青色图标：Conv 1*1 2个1×1的卷积核把64个特征通道变成2个，也就是最后的388×388×2，这里就是一个二分类的操作，
把图片分成背景和目标两个类别。

灰色图标：对左边下采样得到的特征图进行裁剪复制，与右边对应通道数的上采样输出特征图合并。

说明：在卷积过程中，我们会丢失边缘像素信息，此外，而上采样并不能恢复图像，只能恢复大小，所以需要复制
左边的特征图然后再和右边的特征图合并，弥补缺失的信息，使得最终结果更加准确。

#同样，上采样也是有四步，特点是，图像大小翻倍，通道数减半

可以看到图中U-net的网络结构呈U形，左半部分我们称之为编码器，右半部分我们称之为解码器。编码器将图片不断压缩，分辨率变得越来越低，解码器将图像分辨率不断还原，分辨率逐步升高。下面我们针对上图，对网络操作流程进行说明。

输入与输出说明

我们的输入图像大小为572,572单通道，输出为388,388二通道。图像分割不应该原图和输出图片大小一样吗？实质上，U-net这边做的处理是，根据预先设置的输出图像大小，然后对输入图像进行镜像填充。具体怎么做的呢？

如上图所示，预测的分割区域在黄色区域，蓝色区域作为输入，提供更多的局部信息，但实质上我们是没有那么大的蓝色区域的，所以缺失的数据就以镜像的方式被填充了。这样的操作会带来图像重叠问题，即某一图像的周围可能会和另一张图片重叠。因此作者在卷积时只使用有效部分。

下采样

网络左半部分为下采样，一共有四步。

#input 572*572*1 ---(卷积)--->570*570*64(ReLu激活)---(卷积)--->568*568*64(ReLu)激活
下采样
step1:568*568*64---(max pooling)--->284*284*128---(卷积)--->282*282*128(ReLu激活)---
(卷积)--->280*280*128(ReLu激活)
之后的三步与step1类似

上采样以及输出

网络右半部分为上采样，同样有四步，与左半部分不同的是，它每次进行上采样采用的都是反卷积(pytorch总的transpose函数即可实现)，而且每次都会引入裁剪后高分辨率的图像信息。

step1：28*28*1024---(反卷积)--->56*56*512+左半部分64*64*512---(裁剪合并)=56*56*1024
 ---(卷积)--->54*54*512(ReLu激活)---(卷积)--->52*52*512(ReLu激活)
 接下来三步与上面一步类似
 
 1*1Conv：
 388*388*64--->388*388*2 将前景和背景分割出来，变成一个二分类问题