语义分割之Gated Feedback Refinement Network for Dense Image Labeling

最新推荐文章于 2024-11-21 13:14:22 发布
原创 最新推荐文章于 2024-11-21 13:14:22 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #语义分割

本文介绍17年CVPR论文提出的门控反馈细化网络（G-FRNet），这是用于密集标记任务的深度学习框架。它解决了基于深度学习的语义分割模型中特征整合问题，通过门单元滤除信息模糊与歧义，实验表明其性能优于现有方法，广泛CNN模型可从中受益。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Gated Feedback Refinement Network for Dense Image Labeling

文章目录


image.png

原始文章：https://www.yuque.com/lart/papers/gfrnet

主要工作

本文是17年的CVPR的论文，主要解决了之前基于深度学习的语义分割模型中存在的一些问题，主要针对的问题是如何更有效的整合和利用低级特征与高级、局部和全局特征。

有效整合局部和全局信息对于密集标签问题至关重要。大多数基于编解码器架构的现有方法简单地连接来自较早层的特征，以在细化阶段中获得更高频率的细节。但是前向传播中的模糊信息，则可能导致最终的细化结果的质量存在限制。

  • 本文提出了一种门控反馈细化网络（G-FRNet），这是一种用于密集标记任务的端到端深度学习框架，可解决现有方法的这种局限性。
  • 首先G-FRNet进行粗略预测，然后在细化阶段有效地整合局部和全局上下文信息来逐步细化细节。
  • 本文引入了控制向前传递信息的门单元，以借助深层特征来辅助浅层特征滤除其中的信息的模糊与歧义。使用更深，更有辨别力的层的特征来过滤从辨别能力较差但定位更精细的早期层传递的信息。
  • 文章认为深层特征可以帮助浅层信息恢复特征中的模糊性内容，而单独的浅层信息并不能很好的恢复，因为其感受野不是很大或者并不具有足够的区分性。

在几个具有挑战性的数据集上的实验结果表明，所提出的模型比现有最先进的方法具有更好性能。 基于消融分析的实验结果揭示了粗到细门控细化值的普遍性。广泛的CNN模型可以从这些简单的体系结构修改中受益。

网络结构

image.png

Gate Unit

image.png

image.png

这里门控的设计使用深层的特征来控制浅层的特征，得到处理后的特征送入解码器。

Gated Refinement Unit

image.png

image.png

就是普通的卷积处理，不过这里有个设定，就是图中 + 操作表示的是拼接， U 表示上采样。这里拼接的时候，两部分的特征image.png，这里C是总的类别数量。这里给出了两个理由：

image.png

  • 降低计算量
  • 避免通道数少的特征被通道数多的特征所淹没

Stage-wise Supervision

这里使用了深监督策略，损失如下：

image.png

其中的η表示原始真值，这里的R表示放缩到对应的特征图大小后的真值。这里使用交叉熵，最终损失直接加和，权重都为1。

实验结果

image.png

image.png

image.png

image.png

image.png

image.png

相关链接

相关文章——LRN

这应该是本文的初期工作，本文在此基础上添加了门控机制，这篇LRN的文章的结果在本文GFRNet中也有展现：https://arxiv.org/pdf/1703.00551.pdf

image.png

image.png

image.png

image.png

【G-FRNet】Gated Feedback Refinement Network for Dense Image Labeling
OneCoder的博客
01-17 1797
CVPR 2017,他们还有一篇CVPR 2018的文章，Gated Feedback Refinement Network for Coarse文章目录概述细节ResultsConclusions 概述 要解决的问题 模糊信息的前向传递会限制后面的精准识别。 采用的方法 结果如何 Contributions 细节 Results Conclusions ...
【阅读笔记】（语义分割最全总结，综述）《A Review on Deep Learning Techniques Applied to Semantic Segmentation》
ShuqiaoS的博客
02-20 7935
本文记录了博主阅读论文《A Review on Deep Learning Techniques Applied to Semantic Segmentation》的笔记。更新于2019.2.19。
图像基本知识及常用网络
weixin_44845357的博客
09-25 791
以下是我自己总结的，还有不足的地方。正在不断修改和完善。 推荐一个总结得更好的链接： 概览主要语义分割网络，FCN、UNet、SegNet、DeepLab 等 概览主要语义分割网络 图像基本组成 像素 pixel 灰度值 intensity (一个pixel的最基本特征) 一张image可以看做一个矩阵，矩阵的每一个元素就是一个像素，每个元素上的值就是灰度值 图像处理中常见的任务 1. 图像分类 给定一张输入图像，图像分类的任务是判断该图像属于哪类，如果是多任务分类，可以用于分类该图像包含哪个类别。所以
G-GhostNet（IJCV 2022）原理与代码解析
00000cj的博客
02-14 2096
本文提出了两种轻量网路，用于CPU端的C-GhostNet和用于GPU端的G-GhostNet。前者就是20年的原版GhostNet，这里只是换了个名字，具体可见GhostNet（CVPR 2020） 原理与代码解析，这里不再详细介绍。本文主要介绍新提出的基于GPU端的G-GhostNet。
最新论文阅读（3）
wydbyxr的博客
06-06 819
Gated Feedback Refinement Network for Dense Image Labeling - 2017CVPR - G-FRNet - 曼尼托巴大学【美】 　　GFRNet进行粗略预测，然后在细化阶段高效地整合局部和全球上下文信息，逐步细化细节。我们引入了控制前进信息的门单元，以过滤掉歧义。 　　 AutoEncoder By Forest - ...
G Frnet 笔记
测试
03-25 113
2019 March 25 G Frnet 笔记
Image Segmentation Using Deep Learning: A Survery
Fantastic
09-23 4019
图像分割综述–论文翻译 论文地址：https://arxiv.org/pdf/2001.05566.pdf 摘要 图像分割是图像处理以及计算机视频的关键内容，其应用场景非常广泛，如场景理解、医学图像分析、机器人感知、视频监控、增强显示和图像压缩等。目前关于图像分割的算法论文数量非常多。最近，由于深度学习模型在计算机视频任务中的出色表现，大量的图像分割研究工作都在开发深度学习模型在图像分割中的应用。在本次调查综述中，我们提供全面的图像分割的文献综述，涵盖了语义分割和实例分割的广泛开创性工作，其中包括全卷机像素
【GNN4Medical】GNN在医疗领域发展和应用
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
11-21 1494
医疗AI在肿瘤方面应用综述 - 知乎。
CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云
王博（Kings）的博客
06-25 5080
链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：
论文笔记：Label Refinement Network for Coarse-to-Fine Semantic Segmentation
xiaoxiang_AQ 的博客
03-12 5179
本文设计了一个Coarse-to-Fine的深度学习网络Label Refinement Network，来进行语义分割任务。主要将低分辨率下的分割标签和卷积后的特征进行结合，获得一个更加精确的分割结果。在网络的多个阶段定义loss函数，这种做法起到了多阶段同时监督的效果。 论文传送：Label Refinement Network for Coarse-to-Fine Semantic Seg
最新论文阅读（10）
wydbyxr的博客
06-07 410
Detecting Faces Using Region-based Fully Convolutional Networks - 2017年9月 - Face R-FCN；人脸检测 - 腾讯AI Lab 　　Face R-FCN主要是基于R-FCN（基于区域的全卷积网络）框架来解决人脸检测问题。在R-FCN框架的基础上，他们采用ResNet（残差网络）作为基础网络，结合了多尺度训练和测试、...
语义分割--RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation
AI小作坊 的博客
06-02 5471
RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation CVPR2017 https://github.com/guosheng/refinenet本文还是使用 cascaded 思想来做语义分割！但是引入了 residual connections with identity ma
语义分割--Label Refinement Network for Coarse-to-Fine Semantic Segmentation
AI小作坊 的博客
06-06 1884
Label Refinement Network for Coarse-to-Fine Semantic Segmentationhttps://www.arxiv.org/abs/1703.00551v1还是级联语义分割的思路，本文提出的算法是 label refinement network (LRN)首先来看看本文提出的算法流程图： 注意这里的训练加入了 多尺度 ground trut
总结-空洞卷积(Dilated/Atrous Convolution)、gridding问题以及解决方案、训练技巧BN和PReLU、CReLU
m0_37644085的博客
04-23 1万+
这里有个可视化、直观的图：https://github.com/vdumoulin/conv_arithmetic https://zhuanlan.zhihu.com/p/50369448 https://www.zhihu.com/question/54149221/answer/192025860 https://www.zhihu.com/question/54149221/answ...
开学综合症有救了！17篇最新AI论文不容错过（附链接）
数据派THU
03-04 697
来源：PaperWeekly本文多干货，建议收藏。本文为大家准备了最新AI领域的论文。@jingyihiter 推荐#Text Generation本文来自国防科大和微软...
语义分割标注
qq_32425195的博客
10-15 5400
1，先用pixleAnnotationTool标注 去https://github.com/abreheret/PixelAnnotationTool/releases下载该工具 解压后打开： PixelAnnotationTool.exe 将下面的保存为1.json。这是我们的配置文件，定义了每个类别的label名称，显示颜色，id等。 { "labels": { ...
GLU（Gated Linear Units）
热门推荐
仲夏
08-08 3万+
博客链接 门控线性单元Gated linear units是在Language model with gated convolutional network中提出的。 首先我们可以通过堆叠CNN来标识长文本，提取更高层、更抽象的特征，而且相比LSTM而言，我们需要的op更少（CNN需要O(N/k)个op，而LSTM将文本视为序列需要O(N)个op，其中N为文本长度，k为卷积核宽度），这样一来，...
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
最新发布
12-30
### Gated Axial-Attention 方法在医学图像分割中的应用 #### 背景介绍 近年来，深度卷积神经网络 (CNNs) 已经成为医学图像分割的主要工具之一，在多个应用场景下表现出色。然而，由于其固有的局限性——难以捕捉长距离依赖关系，这限制了 CNN 的表现潜力[^3]。 #### Transformer 架构的优势 相比之下，Transformer 模型通过自注意力机制能够有效地处理序列数据间的远距离交互问题，从而提供更加丰富的特征表示能力。这种特性对于需要理解复杂空间模式的任务特别有用，比如医学影像分析[^4]。 #### MedT 中的 Gated Axial-Attention 设计理念 针对医学图像特有的挑战，即有限的数据量以及高分辨率需求等问题，研究人员提出了 Medical Transformer (MedT)，它引入了一种新颖的设计——门控轴向注意力建模方式(Gated Axial-Attention)[^1]。该设计旨在解决标准 Transformers 需要大量标注样本才能良好工作的难题，并适应医疗领域内小型化且高质量的要求。 具体来说： - **门控机制**：为了增强模型的学习效率并减少过拟合风险，MedT 在传统的 Self-Attention 层之上加入了门控单元。这些门允许网络动态调整哪些部分应该被重点关注或忽略掉，进而提高了对输入信号的选择性和鲁棒性。 - **轴向注意力**：不同于常规全连接式的多头自我关注层，这里采用了分片策略来降低计算成本的同时保持足够的感受野覆盖范围。这意味着每个像素只与其所在行/列上的其他位置建立联系，而不是整个图片平面内的每一个点都相互作用。这种方法不仅简化了架构而且有助于更好地提取局部上下文信息。 ```python class GatedAxialAttention(nn.Module): def __init__(self, dim, num_heads=8, qkv_bias=False, attn_drop=0., proj_drop=0.): super().__init__() self.num_heads = num_heads head_dim = dim // num_heads self.scale = head_dim ** -0.5 # 定义查询、键和值线性变换矩阵 self.qkv = nn.Linear(dim, dim * 3, bias=qkv_bias) # 初始化门控参数 self.gate = nn.Parameter(torch.ones(num_heads)) def forward(self, x): B, H, W, C = x.shape qkv = self.qkv(x).reshape(B, H*W, 3, self.num_heads, C//self.num_heads).permute(2, 0, 3, 1, 4) q, k, v = qkv.unbind(0) # 计算注意力权重 attn = (q @ k.transpose(-2, -1)) * self.scale attn = F.softmax(attn, dim=-1) attn = self.attn_drop(attn) # 应用门控操作 gated_attn = torch.sigmoid(self.gate.view(1,-1,1,1)) * attn # 更新后的加权求和过程 x = (gated_attn @ v).transpose(1, 2).reshape(B,H,W,C) return x ``` 上述代码片段展示了如何实现一个简单的带有门控功能的轴向注意力模块。其中 `gate` 参数用来控制各个头部的重要性程度；而实际运算过程中则是通过对原始 Attention Map 施加 Sigmoid 函数得到的概率值来进行调节[^2]。 #### LoGo 策略概述 除了改进核心组件外，研究者们还开发了一套名为 “Learning from Global and Local Patches” 或简称 LoGo 的训练方案。此方法鼓励模型同时考虑整体布局与细节差异两方面因素，进一步提升了最终预测精度。具体做法是在每次迭代期间交替呈现整幅图像及其随机裁剪的小区域给定网络学习，以此促进更全面的理解能力和泛化性能。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值