图像分析学习笔记（6）：智能图像语义分割

图像语义分割的概念

• 分类出每个像素所属的类别
• 几种相似的术语：语义分割：对整幅图像做像素级识别，不区分图像中同一类别的不同个体、实例分割：仅对感兴趣物体做像素级识别，区分图像中同一类别的不同个体、全景分割：既整幅图像做像素级识别，又要区分图像中同一类别的不同个体
• 应用领域：自动驾驶、遥感图像判读
• 评价指标：平均交并比：$mIOU=\frac{GT\cap Predition}{GT\cup Prediction}$

图像分割面临的挑战

• 面临挑战：不同目标大小、类别像素不均衡、没有统一的标注真值、边缘分割不佳

基于机器学习图像特征的典型语义分割方法

• 朴素方法：先提取patch，然后使用CNN分类中心像素，但是其效率较为低效，因为图像块之间的重叠区域特征重复计算（脉冲流之间重复匹配计算？也是可以这样说的）
• FCN:用于全卷积神经网络的语义分割
  • 输出的任意一个通道的特征映射是关于特定类别的热力图
  • 上采样：插值 双线性法$\to$可学习上采样$\to$转置卷积
  • 融合多尺度信息得到更好的分割效果
  • 存在的问题：对大目标分割不稳定，容易漏检小目标
  • U-Net:医学图像分割卷积神经网络
  • DeconvNet:记下encoding过程中maxpooling的最大值位置，在decoding过程中反向上采样，其余位置补零。
    • 反池化通过将具有强激活的原始位置回溯到图像空间，捕获特定于示例的结构。因此它可以有效地以更细的分辨率重构对象的详细结构。
    • 反卷积层中的学习滤波器倾向于捕捉特定类的形状。通过反卷积，可以放大与目标类密切相关的激活值，同时有效抑制来自其他区域的激活噪声。将反池化和反卷积相结合，生成精确的分割映射。
• DeepLab V1 V2
  • 针对池化层信息丢失的缺点，提出空洞卷积方法，顶层的神经元感受也能够覆盖全输入，扩大感受野的同时缓解空间信息的损失