语义分割概览（原理，数据集，模型，评价指标）

1原理

图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。虽然自 2007 年以来，语义分割/场景解析一直是计算机视觉社区的一部分，但与计算机视觉中的其他领域很相似，自 2014 年 Long 等人首次使用全卷积神经网络对自然图像进行端到端分割，语义分割才有了重大突破。


一般的语义分割架构可以被认为是一个编码器——解码器网络。编码器通常是一个预训练的分类网络，像 VGG、ResNet，然后是一个解码器网络。这些架构之间的不同主要在于解码器网络。解码器的任务是将编码器学习到的可判别特征（较低分辨率）从语义上映射到像素空间（较高分辨率），以获得密集分类。

不同于分类任务中深度网络的最终结果（即类存在的概率）被视为唯一重要的事，语义分割不仅需要在像素级有判别能力，还需要有能将编码器在不同阶段学到的可判别特征映射到像素空间的机制。不同的架构采用不同的机制（跳远连接、金字塔池化等）作为解码机制的一部分。

2模型

常用的语义分割网络，值得一读
参考博客网址：[https://blog.youkuaiyun.com/qq_20084101/article/details/80432960]

实验结果对比：

3数据集

3.1普通数据集

3.2遥感影像数据集

4评价指标

语义分割算法的性能评价标准主要分为精确度、时间复杂度和内存损耗 3 个方面，精确度一般使用PA、IoU、mIoU这三个指标中的一个或两个，能用mIoU就用它。用两种的话就用PA和mIoU，单分类用PA和IoU。

4.1时间复杂度

每秒帧数fps

4.2内存损耗

4.3精确度

4.3.1 PA

PA：表示图像中正确分类的像素数目与像素总数的比率

4.3.2mPA

4.3.3 IOU

预测图集合和真实标注图集合的交集与这两个集合的并集的比率，图像语义分割中常表示分割图与原始图像真值之间的重合程度。

4.3.4 mIOU

平均交并比：mean Intersection over Union，图像像素每个类的 IoU 值累加后的平均值，一般大于80%就很厉害了。

4.3.5 FWIoU

带权交并比，Frequency Weighted Intersection over Union，
带权重的交并比。

5参考资料

[1]景庄伟,管海燕,彭代峰,于永涛.基于深度神经网络的图像语义分割研究综述[J].计算机工程,2020,46(10):1-17.

[2]徐辉,祝玉华,甑彤,李智慧.深度神经网络图像语义分割方法综述[J/OL].计算机科学与探索:1-21[2020-11-30].http://kns.cnki.net/kcms/detail/11.5602.TP.20200903.1737.010.html.

下面这个介绍很清晰
[1] https://blog.youkuaiyun.com/dQCFKyQDXYm3F8rB0/article/details/80553963?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.control

[2] (36条消息) 干货 | 一文概览主要语义分割网络，FCN、UNet、SegNet、DeepLab 等等等等应有尽有_蓝三金的博客-优快云博客_语义分割网络
https://blog.youkuaiyun.com/qq_20084101/article/details/80432960?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.essearch_pc_relevant&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.essearch_pc_relevant

[3] (36条消息) 语义分割中的深度学习方法全解：从FCN、SegNet到各版本DeepLab_有些代码不应该被忘记-优快云博客
https://blog.youkuaiyun.com/scutjy2015/article/details/74971060?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.fixedcolumn&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.fixedcolumn

[4] (36条消息) 主要语义分割网络：FCN,SegNet,U-Net以及一些半监督方法_haima1998的专栏-优快云博客
https://blog.youkuaiyun.com/haima1998/article/details/95209536

6之后要实现的

（1）FCN
（2）unet
（3） SegNet
（4）RefineNet
（5）DeepLab（v1,v2,v3,v3+）
（6）Mask RCNN
（7）Enet
（8）Pspnet
（9）DA-RNN
（10）DA-net