【OpenMMLab 实战营打卡-第6课】机器视觉之图像分割算法基础

一、定义

语义分割是指将图像按照物体的类别分割成不同的区域，即对图像中的每个像素进行分类。

二、应用

语义分割主要应用有无人驾驶、人像分割、智能遥感和医疗影像分析等领域。

1. 无人驾驶

在无人驾驶中，语义分割要实现将图片中的行人、其他车辆、道路等交通信息按照类别在图像中分割出来，从而更好地辅助行驶车辆对周围环境的感知。

2.人像分割

在实时会议中快速将人像从图像中扣出，进而可以替换任意虚拟背景，也是语义分割在现实场景中的一大用处。

3. 医疗影像分析

图像分割可以辅助医生快速识别病变位置，能在很大程度减轻医生的工作负担。

三、发展

1. 基于先验知识的图像分割

基本思路就是按照颜色分割，按颜色的不同划分区域。问题是不同物体的颜色可能相近，物体内部也会有多种颜色。

2.基于滑动窗口的图像分割

基本思路就是逐像素进行类别划分，缺点是效率低，重叠区域会重复计算卷积

改进：复用卷积计算，新的问题是卷积网络中全连接层的存在要求图像输入大小固定。

改进：用卷积实现全连接层
FCN

3.恢复网络中的降采样

由于使用传统卷积对图像进行下采样，导致最终网络输出尺寸小于输入图像。对于语义分割，我们希望输出尺寸和原图保持不变。
解决方法：1.双线性插值；2.转置卷积

a.双线性插值

b.转置卷积

4.恢复预测图的细节

问题：高层特征经过多次下降样，细节信息丢失严重。
解决办法：整合低层次和高层次特征图信息，代表模型有UNet。

UNet

5.利用上下文信息

图像周围的内容也即上下文信息可以帮助我们更好对图像内容进行判断。

PSNet

6.DeepLab 系列

使用空洞卷积解决网络中的下采样问题

使用条件随机场 CRF 作为后处理手段，精细化分割图

使用多尺度的空洞卷积（ASPP 模块）捕捉上下文信息

以下是整个语义分割算法改进过程的总结