全卷积神经网络
通常的CNN网络在卷积层后会接上若干个全连接层,将卷积层映射称为一个固定长度的特征向量,比如在Imagenet模型中最后输出的就是一个1000维的向量来表述,得到的是预测不同的维度的概率。
FCN 是对图像进行像素级的分类,解决了语义级别的图像分割。
传统的CNN 接受的图像尺寸大小是固定的,FCN可以接受任意尺寸的输入图像,并且采用反卷积对卷积层进行上采样,使图像恢复到原来图像的尺寸大小,从而对每个像素都进行了预测。
FCN与传统的区别是将全连接改成了全卷积,是最后得到的输出结果是一张label好的图片。
自我感觉上图是FCN中描述比较准确的一张图,而且很容易理解,其中FCN-32S 是在最后一个卷积层然后进行上采样32倍得到输出结果。
FCN-8S 是在最后一个卷积层先上采样2倍,然后与倒数第二个大的卷积层进行相加融合,然后在上采样二倍,然后与倒数第三个卷积层进行融合,然后最后进行上采样8倍得到最后结果。
缺点
1.是得到的结果还是不够精细。进行8倍上采样虽然比32倍的效果好了很多,但是上采样的结果还是比较模糊和平滑,对图像中的细节不敏感。
2.是对各个像素进行分类,没有充分考虑像素与像素之间的关系。忽略了在通常的基于像素分类的分割方法中使用的空间规整(spatial regularization)步骤,缺乏空间一致性。
FCN上采样用的方法是转置卷积,计算起来过于复杂,后续发展的网络采用较多的上采样方法是双线性插值。