文章介绍了语义分割的基本思路，包括按颜色聚类和滑窗方法，然后深入探讨了深度学习下的语义分割模型，如全卷积网络、多层级上下文信息在PSPNet中的应用以及DeepLab模型中采用的空洞卷积。这些技术旨在处理图像的细节和上下文信息，提高分割的准确性。评估方法主要包括IoU和Dice系数。
语义分割和MMSegmentation
基本思路
按颜色
最简单思路，按照颜色来聚类。但是这样的操作没有语义。不同物体颜色可能想尽，物体内部也可能有多种颜色。
滑窗
用一个滑窗在图像上去滑动，每滑动一次就作为一张单帧的图片输入到卷积神经网络中，获得一个预测结果。把这个预测结果作为这个滑窗中心点像素的语义分割预测结果。因为卷积神经网络可以提取语义信息，可以做分类。滑窗的方式也使得每一个像素都有机会参与识别，所以这种思路叫做逐像素分类。但问题是滑窗需要设置，而且效率低，成本大。
所以先在原图上卷积一次得到一个feature map，再用这个feature map再进行滑窗，这样就复用滑窗了。
深度学习下的语义分割模型
全卷积网络
叫全卷积网络是因为没有用到全连接层，得到了一个输出的概率图，反映了某一个类别在原图上的热力图。
全卷积网络会一层层的下采样，就是宽高都变小，将下采样后的特征图还原成原来的尺寸就需要上采样（升采样）。
上采样
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
