神经网络与深度学习（笔记四）

一、语义分割基本概念

1. 问题描述

语义分割：找到同一画面中的不同类型目标区域。（如下图所示）

 2. 语义分割与实例分割以及目标检测的区别

实例分割问题在于同一类型目标要分出来具体实例，目标检测问题在于标出外包围矩阵。（以下图为例）

 二、语义分割基本思想

1. 语义分割目标

对图中每一个像素进行分类，得到对应标签。

2.基本思想

I 滑动窗口

使用滑动窗口的方法，通过重复计算，实现语义分割。（以下图为例）

缺点：效率低下，重叠区域的特征反复被计算。

 II 全卷积

让整个网络只包含卷积层，并在网络中嵌入下采样和上采样过程。

全卷积网络结构：

网络结构分为全卷积和反卷积两个部分。全卷积部分借用了一些经典的CNN网络，并把最后的全连接层换成卷积，用于提取特征，形成热点图；反卷积部分则是将小尺寸的热点图上采样得到原尺寸的语义分割图像 。

三、反卷积与反池化

1. 反池化（上池化，unpooling）

反池化是池化的逆操作，最常见的反池化操作有反最大池化和反平均池化，其示意图如下：

2. 反卷积

反卷积是一种特殊的正向卷积，先按照一定的比例通过补 0 来扩大输入图像的尺寸，接着旋转卷积核，再进行正向卷积，示意图如下：

3. 跳跃结构

 用于融合高低层特征信息。通过跨层连接的结构，结合了网络浅层的细(fine-grain)粒度信息信息以及深层的粗糙(coarse)信息，以实现精准的分割任务。示意图如下：

 四、FCN评价指标与标注工具

1. 常见语义分割评价指标

 其中， 

2. 常见语义分割标注工具

 I Labelme：A image annotation software for 2D or 3D images.

II EISeg：基于飞桨开发的一个高效智能的交互式分割标注软件。涵盖了高精度和轻量级等不同方向的高质量交互式分割模型，方便开发者快速实现语义及实例标签的标注，降低标注成本。 另外，将EISeg获取到的标注应用到PaddleSeg提供的其他分割模型进行训练，便可得到定制化场景的高精度模型，打通分割任务从数据标注到模型训练及预测的全流程。