【OpenMMLab AI实战营 学习笔记 DAY（六）-- 语义分割和实例分割原理讲解】

本次课程是由子豪兄（B站 同济子豪兄）进行讲解，以及后续的答疑。课程于B站上搜索OpenMMLab 在其官网首页可以查看。 具体链接如下，https://www.bilibili.com/video/BV1s24y1W7Xa/?spm_id_from=333.337.search-card.all.click&vd_source=dc30f12500ae4d963ddc6f21932f3d67。

语义分割

任务： 将图像按照物体的类别分割成不同的区域
等价于： 对每个像素进行分类

应用：无人驾驶汽车–环境感知
自动驾驶车辆，会将行人，其他车辆，行车道，人行道、交通标志、房屋、草地与树木等等按照类别在图像中分割出来，从而辅助车辆对道路的情况进行识别与认知。

应用：人像分割
实时替换视频的背景，在智慧互娱和智能会议场景中，可以通过这种方法增加交互的多样性

应用：医疗影像分析
通过图像分割技术，辅助进行医疗诊断。如右图，识别脑部肿瘤异物的位置。

语义分割 vs 实例分割 vs 全景分割

语义分割的基本思路

基本思路：按颜色分割

基本思路：逐像素分类

复用卷积计算


全连接层的卷积化

全卷积网络 Fully Convolutional Network 2015

预测图的升采样

语义分割算法总结

语义分割模型的评估

比较预测与真值
基于交并集的评估指标

MMSegmentation 的项目结构

分割模型的模块化设计
MMSegmentation 将分割模型统一拆解为如下模块，方便用户根据自己的需求进行组装和扩展。

分割模型的配置文件

主干网络的配置
主干网络输入图像，输出多层次的特征图

主解码头的配置
主解码头从特征图预测分割图

辅助解码头的配置
辅助解码头鼓励学习更好的低层特征,不用于最终的预测

数据集配置

数据处理流水线

常用训练策略
MMSegmentation 默认的学习率策略仅在总迭代次数上有所差别