语义分割网络概述

最新推荐文章于 2025-03-01 15:17:48 发布
最新推荐文章于 2025-03-01 15:17:48 发布
阅读量1.5k 收藏 13
点赞数 3
分类专栏： 语义分割 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fengshengwei3/article/details/103292057
版权

目录

一.语义分割

二.有哪些不同的方法去解决语义分割问题？

三.论文总结

FCN

SegNet

Dilated Convolutions

DeepLab(v1&v2)

RefineNet

PSPNet

Large kernel Matters

DeepLab v3

BiseNet

首先解释语义分割问题，然后大概了解一下一些常规方法，最后介绍几篇有代表性的文章。

一.语义分割

语义分割是从像素级别理解图像，也就是说我们想要给图像中的每个像素分配一个类别标签，例如下面这张图

 

除了识别出摩托车和骑手之外，我们还需要画出每个物体的轮廓。因此，跟目标识别不同的是，我们需要密集的像素级别的预测（这里的密集指的就是对每个像素预测，稀疏对应的是只需要预测有什么目标）

VOC2012 和MSCOCO 是语义分割方面比较常用的数据集

二.有哪些不同的方法去解决语义分割问题？

在深度学习应用于计算机视觉之前，人们常用的方法有 TextonForest 和 Random Forest based classifiers . 像图像分类一样，CNN在图像分割方面也取得了巨大的成功

其中一个比较流行的原始 深度学习方法是  patch classfication ,该方法预测每个像素的标签通过该像素周围的图像块来预测。使用图像块的原因是由于分类网络通常有全连接层因此需要固定尺寸的图像。

. 2014年提出了全卷积神经网络（Fully Convolutional Networks (FCN) ），流行的CNN架构不用任何的全连接层用来实现密集预测，它允许分割后的map图生成任意尺寸的分割图像，并且速度比patch classfication快。 几乎后续所有的语义分割网络采用了这种模式来构建网络。

抛开全连接层，用CNN做分割最主要的问题存在于pooling层，polling层可以增加感受野的尺寸，聚合上下文的信息，但是会丢掉原始图像的空间位置信息（就是像素具体所处的位置）。然而语义分割需要精准的标签和像素的映射信息（也就是需要位置信息），为了解决这个问题，文献中提到了两种结构去处理它。

（1）第一种是encoder-deconder架构，encoder逐渐地用polling降低空间维度，decoder逐渐恢复目标和空间位置信息的细节。通常有从编码器到解码器的快捷连接，以帮助解码器更好地恢复对象细节。其中的一个代表架构是U-Shape,其架构如下图所示:

（2）第二种架构是用空洞卷积（ dilated/atrous convolutions）并取消池化层

关于空洞卷积的具体说明，详见下文。

 

用Conditional Random Field (CRF) postprocessing (CRF后处理）通常用来提升分割效果。CRF是一个图模型，它基于潜在的图像强度来进行光滑分割。他们的工作基于这样的观察:相似强度的像素往往被标记为相同的类，通常CRF可以提高1%~2%的性能。

三.论文总结

后面的部分会总结几篇有代表性的文章，所有的文章对应模型的评价信息参见http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php

  1. FCN（点击连接进入）

  2. SegNet（点击连接进入）

  3. Dilated Convolutions（点击连接进入）

  4. DeepLab(v1&v2)（点击连接进入）

  5. RefineNet（点击连接进入）

  6. PSPNet（点击连接进入）

  7. Large kernel Matters（点击连接进入）

  8. DeepLab v3（点击连接进入）

  9. BiseNet（点击连接进入）

 

本文主要翻译自http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review 

 

语义分割网络总结：FCN、SegNet、U-Net、PSPNet、RefineNet到DeepLab v1～v3+
sdw8855的博客
09-01 604
语义分割的任务是基于像素点的密集预测任务，其目的是将输入图像的每个像素分配一个语义类别。 FCNs网络，以VGG16为backbone，去掉了最后的全连接层（fc6和fc7）转换为卷积层，以生成一个低分辨率的特征图，然后用双线性初始化的反卷积，并在上采样的每一个阶段采用skip-connection的方式融合（求和）VGG16中的低层信息（conv4、conv3）的更加粗糙但是分辨率更高的特征图进一步融合多尺度信息。如下图所示，FCN-8s 融合了不同粗糙度（conv3、c...
一文概览主要语义分割网络：FCN,SegNet,U-Net...
AI科技大本营
06-01 6025
本文作者总结了 FCN、SegNet、U-Net、FC-Densenet E-Net 和 Link-Net、RefineNet、PSPNet、Mask-RCNN 以及一些半监督方法，例如 DecoupledNet 和 GAN-SS，并为其中的一些网络提供了 PyTorch 实现。在文章的最后一部分，作者总结了一些流行的数据集，并展示了一些网络训练的结果。
【语义分割】12个主流算法架构介绍、数据集推荐、总结、挑战和未来发展
m0_74824076的博客
03-01 1232
回顾近10年来经典的语义分割模型，无论是基于CNN的架构还是基于Transformer的架构，最核心的理念是“编码-解码”。直观上来讲，就是通过下采样获取特征的潜在表示，再通过上采样从抽象的底层特征表示中恢复目标的细节信息。从交通、医学、遥感、自动驾驶、智能施工管控等领域近些年发表的关于语义分割的论文来看，采用的架构大多是以上所提到的模型的变体，包括但不限于添加各种注意力机制模块、更换主流的特征提取网络backbone、CNN与transformer混合设计、多尺度特征融合。
语义分割相关网络简述
weixin_42535423的博客
04-29 1602
语义分割网络的发展1、Fully Convolution Networks (FCNs) 全卷积网络关键点：缺点：2、SegNet（A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation）关键点：3、U-Net（Convolutional Networks for Biomedical Image Segmentation） 相应连接：Arxiv关键点：U-net典型应用：2、Long-ranged informati
【语义分割】一文概览主要语义分割网络，FCN、UNet、SegNet、DeepLab
chen1234520nnn的博客
08-20 1万+
语义分割：是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。 上图中将人和自行车从图片中分割出来了。 语义分割一般网络架构 一般的语义分割架构可以被认为是一个编码器-解码器网络。 1）编码器：通常是一个预训练的分类网络，像 VGG、ResNet，然后是一个解码器网络。这些架构不同的地方主要在于解码器网络。 2）解码器：解码器的任务是将编码器学习到的可判别特征(较低分辨率)从语义上投影到像素空间(较高分辨率)，以获得密集分类。 语义分割不仅需要在像素级有判别能力，...
语义分割分割常用网络
kakak_的博客
04-26 1万+
语义分割 图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。 一般的语义分割架构可以被认为是一个编码器-解码器网络。编码器通常是一个预训练的分类网络，像 VGG、ResNet，然后是一个解码器网络。这些架构不同的地方主要在于解码器网络。解码器的任务是将编码器学习到的可判别特征（较低分辨率）从语义上投影到像素空间（较高分辨率），以获得密集分类。 不同于分类任务中网络...
语义分割概述
makabaka的博客
10-09 1395
本文大多来自http://blog.geohey.com/ji-suan-ji-shi-jue-zhi-yu-yi-fen-ge/，方便读paper使用 图像语义分割（semantic segmentation），从字面意思上理解就是让计算机根据图像的语义来进行分割，例如让计算机在输入下面左图的情况下，能够输出右图。语义在语音识别中指的是语音的意思，在图像领域，语义指的是图像的内容，对图片意思的理...
ECCV2020语义分割论文_神经网络_深度学习_语义分割_
10-03
在IT领域，特别是计算机视觉部分，语义分割是一项关键技术，它涉及到神经网络和深度学习的应用。ECCV（欧洲计算机视觉会议）是该领域的重要学术会议，2020年的会议集中展示了最新的研究成果。以下是对这六篇论文的...
语义分割综述论文合集
03-10
最后，《A review of semantic segmentation using deep neural networks》总结了深度神经网络在语义分割中的应用，特别强调了迁移学习和模型微调的重要性。此外，这篇论文还探讨了如何处理小类别的不平衡问题，以及...
Keras:Unet网络实现多类语义分割方式
09-16
多类语义分割概述 在多类语义分割任务中，目标是将输入图像中的每个像素分配到预定义的多个类别之一。这在许多应用中都是非常重要的，比如自动驾驶汽车需要识别道路上的行人、车辆、道路标记等；遥感影像分析需要...
Pytorch：图像语义分割-FCN, U-Net, SegNet, 预训练网络
Jingmin Wei's Blog
03-21 6587
介绍了图像语义分割网络的基本概念，介绍了FCN, U-Net, SegNet的网络结构并用代码实现建模，使用预训练的语义分割网络完成颜色编码和图像分割。
语义分割网络经典：FCN与SegNet
01-07
作者：石文华           编辑：田  旭            前  言 语义分割网络经典：FCN与SegNet 全文目录 1、FCN 概述 编码和解码过程 2、SegNet 概述： 特征上采样与融合细节 代码地址 将图像中每个像素分配到某个对象类别，相关模型要具有像素级的密集预测能力。 01 FCN （一）概述 改编当前的分类网络：AlexNet、VGG、GoogLeNet到全卷积网络和通过微调传递它们学习的特征表达能力到分割任务中。然后定义了一个跳跃式的架构，结合来自深、粗层的语义信息和来自浅、细层的表征信息来产生准确和精细的分割。   由上图可以看出，将
一文了解语义分割网络！
CV前沿
03-03 1427
本文我将讨论如何使用卷积神经网络来完成语义分割任务。语义分割是一个计算机视觉任务，在这项任务中我们根据显示的内容来标记图像的特定区域。 更具体的说，语义分割的目的是用所表示的内容的类别来为图像中每个图像打标签。因为我们是对图像中每个像素打标签，这类任务通常被称为密集预测。 **需要注意的一点是，我们并不会分离同一个类别的不同实例，我们仅仅关注每个像素的类别。**换句话说，如果在图像中有两个相同类别的对象，分割图不会将它们区分为单独的对象。不同于语义分割，实例分割可以做到区分同一类别的不同对象。 分割模型可
语义分割网络-BiSenet
Freeverc的博客
10-31 1万+
Sementic Segmentation-BiSenet语义分割网络-BiSenet(Sementic Segmentation-BiSenet)介绍思路来源关于感受野关于空间信息网络框架Spatial PathContext PathBackBone网络注意力优化模块（ARM）：特征融合模块（FFM）：放大与输出Loss Function创新点总结分割效果测试结果：BiSeNet网络代码Ten...
常见的语义分割网络架构：FCNUNetSegNet等
AI天才研究院
05-31 773
1.背景介绍 语义分割是计算机视觉中的一项重要技术，它的目标是将图像分割成多个区域，每个区域代表一个特定的类别。在过去的几年中，深度学习已经在语义分割领域取得了显著的进步。本文将介绍几种常见的语义分割网络架构：全卷积网络（FCN）、U-Net、SegNet等，这些网络架构在许多应用中都取得了很好的效果。 2.
语义分割--Efficient and Robust Deep Networks for Semantic Segmentation
AI小作坊 的博客
08-02 2983
Efficient and Robust Deep Networks for Semantic SegmentationCode: https://lmb.informatik.uni-freiburg.de/Publications/2017/OB17a/在 Up-Convolutional Networks 的基础上，提出了 Part-Net，Fast-Net，M-Net。 三个网络的侧重点不
干货 | 一文概览主要语义分割网络，FCN、UNet、SegNet、DeepLab 等等等等应有尽有
热门推荐
蓝三金的博客
05-25 9万+
原文地址：https://meetshah1995.github.io/semantic-segmentation/deep-learning/pytorch/visdom/2017/06/01/semantic-segmentation-over-the-years.html 介绍 图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。虽然自 2007 年以来，...
语义分割网络图像增强
最新发布
03-15
### 关于语义分割网络中使用的图像增强技术 #### 图像增强的目的与意义 为了提高语义分割的效果，在训练过程中通常会对输入图像进行各种形式的增强操作。这些增强方法旨在增加数据集多样性，防止过拟合，并使模型能够更好地泛化到未见过的数据上[^1]。 #### 增强方式概述 常见的用于语义分割任务中的图像增强手段主要包括几何变换、颜色空间调整以及噪声注入等几类： - **几何变换**：包括旋转、缩放、平移、翻转等操作。这类变化可以模拟实际场景下摄像头视角的变化情况，从而让模型学会识别不同角度下的目标物体。 - **颜色空间转换**：比如改变亮度、对比度、饱和度或者执行直方图均衡化等处理。这有助于提升算法对于光照条件差异较大的环境适应能力。 - **噪声添加**：向原始图片加入随机高斯白噪点或者其他类型的干扰因素，使得最终构建出来的卷积神经网路具备更强鲁棒性面对真实世界中存在的各类不确定性和复杂状况[^2]。 #### 数据一致性的重要性 值得注意的是，在实施上述任何一种增强策略之前，确保所有参与运算的对象之间保持良好的同步关系是非常重要的。例如当涉及到带有标注信息（如mask掩码）的情况时，必须保证经过相同参数设定后的同一轮次内的每一对应位置上的像素点都能一一对应起来；否则将会导致错误的学习信号传递给优化过程造成负面影响。因此如果遇到`demo1`中有而`demo2`里缺失某些特定格式的结果文件，则可能是由于两者间存在命名规则不符所引起的匹配失败问题[^3]。 ```python import numpy as np from skimage import transform, exposure def augment_image(image, mask=None): """Apply augmentation to an image and its corresponding mask.""" angle = np.random.uniform(-20, 20) scale_factor = np.random.uniform(0.9, 1.1) augmented_image = transform.rotate(image, angle=angle, resize=True) augmented_image = transform.rescale(augmented_image, scale_factor) if mask is not None: augmented_mask = transform.rotate(mask, angle=angle, resize=True) augmented_mask = transform.rescale(augmented_mask, scale_factor) # Ensure the shapes match after transformations min_shape = (min(augmented_image.shape[0], augmented_mask.shape[0]), min(augmented_image.shape[1], augmented_mask.shape[1])) augmented_image = transform.resize(augmented_image, min_shape) augmented_mask = transform.resize(augmented_mask, min_shape) return augmented_image, augmented_mask return augmented_image ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值