（202302）OpenMMLab实战CV陆——语义分割算法简介

什么是语义分割

任务： 将图像按照物体的类别分割成不同的区域

等价于： 对每个像素进行分类

应用方面：无人驾驶汽车、人像分割、智能遥感、医疗影像分析

区别：

• 语义分割：仅考虑像素的类别 不分割同一类的不同实体
• 实例分割：分割不同的实体 仅考虑前景物体
• 背景仅考虑类别 前景需要区分实体

语义分割的思路

按颜色分割

先验知识：物体内部颜色相近，物体交界颜色变化——先验知识不完全准确： 不同物体颜色可能相近，物体内也会包含多种颜色

逐像素分类

优势：可以充分利用已有的图像分类模型

问题：效率低下，重叠区域重复计算卷积

深度学习下的语义分割模型

全卷积网络（FCN）

FCN网络结构主要分为两个部分：全卷积部分和反卷积部分。其中全卷积部分为一些经典的CNN网络（如VGG，ResNet等），用于提取特征；反卷积部分则是通过上采样得到原尺寸的语义分割图像。FCN的输入可以为任意尺寸的彩色图像，输出与输入尺寸相同，通道数为n（目标类别数）+1（背景）。
————————————————
版权声明：本文为优快云博主「晓野豬」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.youkuaiyun.com/qq_41731861/article/details/120511148

如上，原文链接中的文章可以了解一些全卷积网络知识

上下文信息与PSPNet模型

由于可能出现歧义，所以要进行联系上下文。图像周围的内容（也称上下文）可以帮助我们做出更准确的判断。

方案：增加感受野更大的网络分支， 将上下文信息导入局部预测中

例子：PSPNet2016

• (a) 对特征图进行不同尺度的池化，得到不同尺度的上下文特征
• (b) 上下文特征经过通道压缩和空间上采样之后拼接回原特征图 → 同时包含局部和上下文特征
• © 基于融合的特征产生预测图

空洞卷积与DeepLab模型

DeepLab 是语义分割的又一系列工作，其主要贡献为：

• 使用空洞卷积解决网络中的下采样问题

• 使用条件随机场 CRF 作为后处理手段，精细化分割图

• 使用多尺度的空洞卷积（ASPP 模块）捕捉上下文信息 DeepLab v1 发表于 2014 年，后于 2016、2017、2018 年提出 v2、v3、v3+ 版本

使用空洞卷积（Dilated Convolution/Atrous Convolution）解决下采样问题，在不增加参数的情况下增大感受野。

PSPNet 使用不同尺度的池化来获取不同尺度的上下文信息 DeepLab v2 & v3 使用不同尺度的空洞卷积达到类似的效果。

分割模型的评估方法

评估指标与图像分类相近。

整理自openmmlab实战营课程