呆呆的猫的博客

本文主要介绍 NIPS 2022 中的论文 SegNeXt

文章目录一、背景和动机二、方法本文收录于 AAAI2022一、背景和动机语义分割中，non-local （NL）的方法起到了很好了捕捉 long-range 信息的作用，大致可分为 Channel non-local 和 Spatial non-local 两种变种。但是他们却同时有一个问题——attention missing。以 channel attention 为例：channel attention 能够找到每个通道和其他通道的关联，在计算的过程中，spatial 特征被整合了起来，缺失

文章目录一、背景二、动机三、方法3.1 Design of Encoding Network3.2 Decoder四、实验4.1 消融实验4.2 和 SOTA 方法对比Paper: https://arxiv.org/abs/2104.13188Code: https://github.com/MichaelFan01/STDC-Seg一、背景现有的语义分割方法，如 Deeplabv3、psp、Segnet等，虽然都取得了较好的效果，但都需要很大的计算开销。在轻量化语义分割方面，有两个主要方向

论文连接：文章目录一、背景二、动机三、方法3.1 整体过程3.2 Image-Level Context Module3.3 Semantic-Level Context Module3.4 Loss Function四、效果一、背景不同类别的共现特性（Co-occurrent）在语义分割中通常被用来聚合上下文特征，来提升像素的表达能力。FCN 是一个有力的基石，基于此，目前的研究大多集中在两个方面：如何提升encoder对每个pixel的特征提取能力如何通过上下文信息的建模来提升每个像素的表.

文章目录一、背景二、动机三、方法3.1 整体结构3.2 特征存储模块 Feature Memory Module3.3 数据集层面的上下文聚合 Dataset-level Context Aggregation3.4 表达一致性的学习 Representation Consistent Learning3.5 Loss四、效果论文链接：https://arxiv.org/pdf/2108.11819.pdf代码链接：https://github.com/CharlesPikachu/mcibi代码合

文章目录一、背景二、动机三、方法四、效果论文地址：https://arxiv.org/pdf/2108.09702.pdf一、背景语义分割的目的是对图中的每个像素进行分类，现有的效果较好的网络基本可以解决 85% 的问题，然而其他15%的问题作者发现基本上是由于以下两个原因：Failure-1：缺失了小目标或目标的某一部分（该问题的原因在于未充分利用细节部分，如图1d的“马腿”）Failure-2：错误预测大目标的某一部分的类别（该问题的原因在于未充分利用视觉上下文信息，如图1h）二、动.

文章目录一、文章出发点二、方法三、效果一、文章出发点每个像素点的类别（label）应该是它所属目标（object）的类别。所以这篇文章对像素的上下文信息建模建模方法：求每个像素点和每个类别的相关性二、方法# prev_output: 19d的粗糙预测结果# feats：将hrnet输出的720d的变成512d# context：每个类别图和每个特征图的关系(19x512)# object_context：self-attention1、prev_output：2、feats获

文章目录一、主要思想三、代码一、主要思想为了提高对不同尺度目标的语义分割，作者串联或并联使用不同扩张率的空洞卷积来实现对多尺度上下文的语义信息捕捉。Atrous Spatial Pyramid Pooling module作者开篇抛出了两个问题：目前的深度卷积网络虽然可以提取抽象的高层语义信息，但丢失了细节的空间信息故本文使用了 atrous convolution目标尺度的多样性为分割带来困难① 给每个金字塔层后面都接了深度卷积网络来抽取特征② encoder-decoder

文章目录一、主要思想二、方法一、主要思想提出了pyramid pooling module (PPM) 模块，聚合不同区域的上下文信息，从而提高获取全局信息的能力。现有的深度网络方法中，某一个操作的感受野直接决定了这个操作可以获得多少上下文信息，所以提升感受野可以为网络引入更多的上下文信息。二、方法Step1：使用global averag pooling得到不同尺度的特征，PPM模块融合了4个不同尺度的特征：红色是最粗糙尺度，使用一个global average pooling 实现其

摘要本文提出了一种及其高效的 CNN 结构——DFANet，来解决计算资源受限情况下的语义分割。本文提出的网络，始于一个简单的backbone，并将这些子网络、子层级的有区分力的特征分别进行聚合。基于多尺度特征传递的 DFANet 不仅仅减少了大量的参数，也获得了足够的感受野并加强了模型的学习能力，保持了分割速度和分割性能的平衡。在 Cityscapes 和 CamVid 数据集上的实验证............

文章目录一、mmsegmentation简介二、Cityscape数据集简介2.1 数据结构5000张精细标注2.2 标注样例三、把自己的数据集变成Cityscape格式3.1 将用labelme标好的数据转换为训练可用数据3.2 重命名3.3 xml转json四、训练和测试4.1 改数据集路径名称等4.2 训练4.3 测试4.4 demo一、mmsegmentation简介github 链接：https://github.com/open-mmlab/mmsegmentation二、Cityscap

文章目录一、简介二、类别三、标注示例一、简介Mapillary Vistas 数据集包含 66 类共 25,000 张高分辨率街景场景的数据，其中有 37 个类是以实例区分的标签。数据总量是 cityscapes 的5倍之多，包括不同天气、季节、时间。采集方式包括手机、摄像机、电脑、运动相机等。数据总量：25k训练总量：18k验证总量：2k测试总量：5k官网：https://www.mapillary.com/二、类别每个大类和其对应的小类别目标序号类别0b

图像分割是机器视觉任务的一个重要基础任务，在图像分析、自动驾驶、视频监控等方面都有很重要的作用。图像分割可以被看出一个分类任务，需要给每个像素进行分类，所以就比图像分类任务更加复杂。此处主要介绍 DL-based 方法。encoder：输入图像→resize到特定大小→输入 backbone→得到特征图可选：decode_head[0]：特征图→FCN→类别特征图→求带权重的 loss（权重0.4）