FCN（Fully Convolutional Networks for Semantic Segmentation）全文翻译

关注

VIP免费原创 2022-10-02 15:23:20 2k 阅读 AI 写同款· GEO 优化 ›

论文详解-Fully Convolutional Networks for Semantic Segmentation 全卷积网络是一类丰富的模型，可以解决许多像素级的任务。用于语义分割的fns通过传递预训练的分类器权重、融合不同的层表示以及在整个图像上进行端到端学习来显著提高准确率。端到端，像素到像素的操作同时简化并加速了学习和推理。本文的所有代码在Caffe中都是开源的，并且所有模型都可以在Caffe模型动物园中免费获得。进一步的工作已经证明了全卷积网络在各种图像到图像任务中的通用性。%5Csum。阅读详情

本人计算机研一小白，最近再看语义分割的相关论文，看到这篇文章被誉为语义分割的开山之作，于是花了两周对全文进行了翻译。文章有不对之处，敬请各位批评指正。

用于语义分割的全卷积网络

摘要

卷积网络是一种能够生成特征层次结构的，强大的视觉模型。我们通过训练端到端，像素到像素来展示卷积网络本身，这胜过了语义分割最先进的技术。我们的关键点在于构建“完全卷积”网络，它可以接受任意大小的输入，并通过高效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并将它们与先前的模型联系起来。我们将当代分类网络(AlexNet [19]， VGG net[31]和GoogLeNet[32])改编为完全卷积网络，并通过微调[4]将其学习表示转移到分割任务。然后，我们定义了一个新的体系结构，该体系结构将来自较深的粗层的语义信息与来自较浅的细层的外观信息结合起来，以生成精确而详细的分割。我们的全卷积网络实现了PASCAL VOC(20%的相对改进，2012年平均IU为62.2%)、NYUDv2和SIFT Flow的最先进分割，而对典型图像的推断时间不到五分之一秒。

1. 引言

卷积网络正在推动识别技术的进步。卷积神经网络不仅在全图像分类方面得到了改进[19,31,32]，而且在具有结构化输出的局部任务上也取得了进展。这包括了边界框对象检测（bounding box object detection）[29,12,17]、部分和关键点预测[39,24]和局部对应[24,9]的提升。

从粗糙到精细推理，很显然下一步就是对每个像素进行预测。之前的方法通常是用卷积神经网络进行语义分割，其中每个像素都以它周围对象或区域的类型进行标记，这项工作解决了这个缺点。我们发现，一个经过训练的端到端、像素到像素的全卷积网络（FCN）在语义分割方面超过了最先进的技术，也不需要先进的设备。据我们所知，这是第一项端到端训练FCNs（1）进行像素预测和（2）进行监督前训练的工作。现有网络的完全卷积版本可以预测任意大小输入的密集输出。学习和推理的整个过程都是通过密集的前馈计算和反向传播实现的。在网络内上采样层可以在具有下采样池的网络中实现像素预测和学习。

上述方法在渐近和绝对两方面都是有效的，并且排除了其他方法所带来的复杂性。Patchwise训练很常见[27,2,8,28,11]，但缺乏全卷积训练的效率。我们的方法没有使用预处理和后处理的复杂性，包括超像素[8,16]，建议[16,14]，或通过随机场或局部分类器[8,16]进行事后细化。我们的模型将最近在分类[19,31,32]方面的成功转化为密集预测，方法是将分类网络重新解释为完全卷积的，并根据其已学习的表示进行微调。相比之下，之前的研究在没有监督的预训练的情况下应用了小型卷积网络[8,28,27]。

语义分割面临语义和位置之间的内在冲突:全局信息解决做什么问题，而局部信息解决在哪里问题。深度特性在一个局部到全局的金字塔中，层次结构由位置和语义共同编码。我们在第4.2节中定义了一个新的“跳跃”体系结构，将深度、粗略、语义信息和浅、精细、外观信息结合起来(参见图3)。

在下一节中，我们回顾了深度分类网络、FCNs的相关工作，以及使用卷积网络进行语义分割的最新方法。之后会解释FCN设计和密集预测之间的权衡，介绍我们的网络内上采样和多层组合的体系结构，并描述我们的实验框架。最后，我们展示了PASCAL VOC 2011-2、NYUDv2和SIFT Flow的最好结果。

2. 相关工作

我们的方法借鉴了深度网络在图像分类[19,31,32]和迁移学习[4,38]方面的最新成果。迁移学习首先在各种视觉识别任务上得到证明[4,38]，然后在检测上得到证明，并在混合提议分类器模型中的实例和语义分割上得到证明[12,16,14]。我们现在重新构建和微调分类网络，以指导语义分割的密集预测。我们绘制了FCNs的空间，并在这个框架中定位了以前的模型，包括历史的和最近的。

全卷积网络 据我们所知，将卷积网络扩展到任意大小的输入的想法首先被Matan等人[25]提出，他们扩展了经典的LeNet[21]来识别数字字符串。因为他们的网络仅限于一维输入字符串，所以Matan等人使用维特比解码来获得它们的输出。Wolf和Platt[37]将卷积网络的输出扩展为邮政地址块四角的二维检测分数映射。上述以往的两项工作都是通过完全卷积的方法进行推理和学习的。Ning等人[27]用完全卷积推理定义了一个用于秀丽隐杆线虫组织粗多级分割的卷积。

在当今的多层网络时代，全卷积计算也得到了应用。Sermanet等人[29]的滑动窗口检测，Pinheiro和Collobert[28]的语义分割，以及Eigen等人[5]的图像恢复都进行了完全卷积推理。虽然完全卷积训练很少，但Tompson等人[35]有效地使用了这种训练来学习端到端部分检测器和用于姿态估计的空间模型，尽管他们没有阐述或分析这种方法。

另外，He[17]等人放弃分类网的非卷积部分来制作特征提取器。他们将提案和空间金字塔池结合起来，产生一个本地化的、固定长度的分类特征。虽然快速有效，但这种混合模型不能端到端学习。

密集预测与卷积网络 最近的一些工作已经将卷积算法应用到密集预测问题中，包括Ning等人[27]、Farabet等人、Pinheiro and Collobert的语义分割；Ciresan等[2]对电子显微镜的边界预测和Ganin和Lempitsky[11]对自然图像的混合神经网络/最近邻模型的边界预测; 以及Eigen等[5,6]的图像恢复和深度估计。这些方法的共同点包括：