《Graph-FCN for image semantic segmentation》笔记

Introduction

深度学习的语义分割方法使用卷积神经网络提取特征，这些特征因为下采样的原因损失了局部位置信息，而这些局部位置信息对于语义分割任务来说很重要。为了使特征保留局部位置信息，作者引入了Graph-FCN。作者首先使用语义分割网络的中间层特征层构造一个图网络模型，特征层的每个像素位置作为一个图节点，一个节点与它临近的节点连接。图网络模型传入GCN中，对图网络模型的每个节点进行分类，即把语义分割每个像素的分类问题转成图节点的分类问题。

看完论文后，我觉得奇怪的是，作者引入Graph-FCN的目的是构成额外了训练损失，提升网络的训练效果，Graph-FCN的输出结果在测试的时候并不会作为语义分割的结果。

作者会引入Graph-FCN的原因，首先是因为传统的语义分割方法是把图片当成一个图网络，然后切割图网络来实现语义分割。Graph-FCN有更加灵活的跳跃连接，不像卷积网络中上一层卷积层的一个像素只连接下一层卷积层的n×n个像素，Graph-FCN可以探索到图网络中不同节点间的关系。Graph-FCN的消息传播机制在节点间交换信息，每个节点的感受野变得更大。Graph-FCN的所有节点都不会消失，保证局部位置信息不会丢失。这些就是作者在论文中论述的Graph-FCN优点。

Method

FCN

Graph-FCN是基于FCN的，FCN的结果图如下。FCN输出3个特征层，分别是FCN-8s，FCN-16s，FCN-32s。使用FCN-16s得到的分割结果比使用FCN-8s得到的分割结果只低了0.3平均IoU，而且FCN-8s太大了，因此作者以FCN-16s为基准构造图网络模型。