语义分割基础知识

感谢深度之眼提供的课程，以下是学习过程中，整理的笔记。

1. 基本概念

从影像中推理出相关的语义或知识（从具体到抽象的过程）。用不同颜色把不同目标标注出来，起到断句的作用。

2. 概念辨析

• 语义分割 semantic segmentation

• 实例分割 instance segmentation:

  与语义分割的区别：

  • 不关注背景，不需要把背景的物体也一一分割出来，只关注自己对自己重要的部分，比如对于自动驾驶来说，需要把分割行人和骑车的优先级设置高一些，把分割楼房建筑的优先级设置低一些
  • 语义分割会把同类目标用同一颜色标注；但实例分割同一类每个物体都会进行分割，比如骑车甲乙丙丁，行人ABCD，不同的人也会用不同颜色去标注，有几个人就用几种颜色。

• 全景分割 panoptic segmentation（可以找找何凯明19年发表的一篇论文）
  相当于语义分割和实例分割的结合，不仅要区分背景，而且同一类物体中的每一个个体也要进行区分

3. 研究现状

3.1 传统方法

• Normalized cut 归一化切割
  根据两个区域的纹理等特征，如果相似的话，就把他们归为一个整体

• Structured Random Forest 结构化的随机森林
  是对随机森林的改进，能够有效改善图像里的噪声

  缺点是容易过拟合，准确率不高

• SVM

3.2 深度学习方法

• FCN
• SegNet
• LinkNet

深度学习方法可能会面临的问题：

• 不匹配关系
  比如水边有个房子，还有船，只看到船顶部的时候和车是很像的，所以这时候需要有全局信息，才能推测出交通工具是船。卷积核小，只能捕获到局部信息，得不到全局信息。

  解决方案：
  可以使用SPP, ASPP, PSPNet都是利用金字塔模块实现全局信息和局部信息的融合

  GCN, DFN

• 不寻常类
  比如枕头和床（床单，被罩）花纹类似，所以很可能会将枕头误分类为床

  解决方案：
  RedNet
  RDFNet

4. 语义分割实现流程

5. 语义分割常用数据集

SUNRGBD和NYUD是一类，下边三个是一类。最上边两个数据集有4个通道RGB-D，D表示的是Depth深度RGB-D每组对应3张图像，一张普通的RGB图像，一张用深度相机拍出来的深度图，以及标签图。

6. 语义分割常用指标

MIoU是衡量语义分割算法性能的最重要的指标，3个指标都是越大越好

7. FCN的研究成果及意义