语义分割网络简介

Kai`

已于 2024-12-02 03:25:37 修改

阅读量926

点赞数 24

分类专栏：人工智能文章标签：图像处理语义分割算法模型

于 2024-12-02 02:40:46 首次发布

本文链接：https://blog.youkuaiyun.com/qq_42301955/article/details/144016653

版权

人工智能专栏收录该内容

29 篇文章

订阅专栏

文章目录

常用网络
参考文章

常用网络

语义分割（Semantic Segmentation）是计算机视觉中的一个重要任务，其目标是对图像中的每个像素进行分类。好的语义分割模型能够保持对象的边界细节，这对于许多应用非常重要。主要挑战为：同一张图像中可能存在大小不同的对象，这对模型提出了捕捉多尺度信息的要求。计算复杂度：由于需要对每个像素进行分类，语义分割任务的计算量通常较大。上下文理解：为了正确分类每个像素，模型需要理解全局上下文信息，而不仅仅是局部特征。

FCN (Fully Convolutional Networks)

首个端到端的针对像素级预测的全卷积网络，backbone 采用 VGG16，包括FCN32s、FCN16s、FCN8s 等结构。特点为：

全卷积网络: FCN将传统的卷积神经网络中的全连接层替换为卷积层，使得网络可以接受任意大小的输入图像。
上采样: 使用反卷积层（转置卷积）进行上采样，恢复特征图的分辨率。
跳跃连接: 引入跳跃连接，将不同特征图相结合，提高分割的准确性。
常用的网络结构如下：

FCN32s
基本结构：FCN32s 是最简单的 FCN 变体，它基于 VGG16 网络的结构。
上采样：在最后一个卷积层（通常是 pool5 层）之后，使用一个步长为 32 的上采样层（deconvolution 或 upsampling）将特征图恢复到输入图像的尺寸。
缺点：由于只使用了最后一个卷积层的信息，分割结果往往比较粗糙，缺乏细节。
FCN16s
改进：FCN16s 在 FCN32s 的基础上增加了跳跃连接，从 pool4 层获取更细粒度的特征。
上采样：首先从 pool5 层上采样到 pool4 层的尺寸，然后将上采样后的特征图与 pool4 层的特征图进行逐元素相加（跳跃连接）。接着，再进行一次步长为 16 的上采样，将特征图恢复到输入图像的尺寸。
优点：通过引入 pool4 层的特征，分割结果的细节得到了改善。

FCN网络结构

在这里插入图片描述

FCN16s结构

DeepLab v1

网络优势：

速度更快，论文中说是因为采用了膨胀卷积的原因，但fully-connected CRF很耗时
准确率更高，相比之前最好的网络提升了7.2个点
模型很简单主要电 DCNN（Deep Convolutional Neural Networks）和 CRF(条件随机场:一种后处理技术，可以用于优化分割结果，尤其是在边界区域。CRF 考虑了相邻像素之间的关系，从而提高了分割的准确性联级构成。)

特点如下：

空洞 / 膨胀 / 扩张卷积（Atrous Convolution）：DeepLab v1 使用空洞卷积来扩大感受野，而不需要增加网络的参数量。通过在卷积核中插入空洞，可以在不增加参数的情况下扩展感受野。
多尺度上下文聚合：取不同层次的特征融合在一起。

deeplab v1网络结构图

DeepLab v2

相比v1速度更快、精度更高、模型结构简单，依然是DCNNs和CRFs联级。
针对 DCNNs 在语义分割中的问题提出了解决方法：

针对分辨率被降低的问题，一般就是将最后的几个 Maxpooling 层的 stride 设置成1(如果是通过卷积下采样的，比如resnet，同样将 stride 设置成1即可)，配合使用膨胀卷积。
针对目标多尺度的问题，最容易想到的就是将图像缩放到多个尺度分别通过网络进行推理，最后将多个结果进行融合即可。这样做虽然有用但是计算量太大了。为了解决这个问题，DeepLab V2中提出了 ASPP 模块 (atrous spatial pyramid pooling)。
针对 DCNNs不变性导致定位精度降低的问题，和 DeepLabV1 差不多还是通过 CRFs 解决，不过这里用的是 fully connected pairwise CRF，相比V1里的 fully connectedCRF 要更高效点。

在这里插入图片描述