【G-FRNet】Gated Feedback Refinement Network for Dense Image Labeling

最新推荐文章于 2024-07-12 16:02:27 发布
原创 最新推荐文章于 2024-07-12 16:02:27 发布 · 1.8k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Gated Feedback Refinement Network (G-FRNet)在解决密集图像标注问题上的应用。通过整合局部和全局上下文信息，G-FRNet使用门控单元过滤模糊信息，提升精细化识别效果。在CamVid、PASCAL VOC 2012和Horse-Cow Parsing数据集上，G-FRNet表现出色，尤其是在CamVid和Horse-Cow Parsing数据集中取得最佳结果。该网络结构基于VGG16，并利用门控细化单元进行特征融合，实现对前向传递信息的有效处理。

在这里插入图片描述
CVPR 2017,他们还有一篇CVPR 2018的文章，Gated Feedback Refinement Network for Coarse

文章目录

概述

  • 要解决的问题
    • 模糊信息的前向传递会限制后面的精准识别。
      在这里插入图片描述
  • 采用的方法
    • Integrating local and global contextual information during refinement stage（refinement stage是这篇论文的部分结构）
    • gate units来处理前向传递的信息，为了过滤模糊信息。
  • 结果如何
    • 数据集CamVid, PASCAL VOC 2012, Horse-Cow Parsing
    • 在CamVid和Horse-Cow Parsing取得了最佳， 在PASCAL VOC 2012上效果比较好。
  • Contributions
    • 自己的结构吧

细节

结构：主干是VGG16
在这里插入图片描述

  • 上图中的 P m G {Pm^G} PmG表示在f7 feature map经过 3 ∗ 3 {3*3} 3∗3卷积后得到的 h ∗ w ∗ C {h*w*C} h∗w∗C维度的结果，这是一个粗糙预测结果，其中 C {C} C表示的是类别数量。

  • Gate Unit：图中也有显示，Gate Unit的输入是两个相邻的feature map，表示为 f g i + 1 , f g i {f_g^{i+1}, f_g^{i}}

最低0.47元/天 解锁文章
G-FRNet论文阅读
qeqjkqjklq的博客
10-11 607
主要参考这篇博客 题目：用于密集图像标记的门控反馈优化网络 G-FRNet：门控反馈优化网络 Refinement：细化，优化 所以要解决的问题：模糊信息的前向传递会限制后面的精准识别。 下面给出论文中的示例：如PPT图所示 例如，虽然网络中较深的卷积层可以在牛和马之间提供强大的区分力，但来自较早层的表示可能特定于动物 图：跨层的接收场大小与可能出现的歧义之间关系的图示。在这种情况下，较大的（和更具区分性的）接收场（蓝色）位于网络的较深层， 并且可能对于改进较早层（橙色）所承载的表示形式具有重要.
FRNet：Feature Reconstruction Network for RGB-D Indoor Scene Parsing实验补充
qq_43733107的博客
11-17 876
FRNet的消融实验
语义分割之Gated Feedback Refinement Network for Dense Image Labeling
画心
07-09 1351
Gated Feedback Refinement Network for Dense Image Labeling 文章目录Gated Feedback Refinement Network for Dense Image Labeling主要工作网络结构Gate UnitGated Refinement UnitStage-wise Supervision实验结果相关链接相关文章——LRN ...
G Frnet 笔记
ahxieqi的博客
03-25 339
2019 March 25 G Frnet 笔记
论文阅读——Where to Go Next- A Spatio-Temporal Gated Network for Next POI Recommendation
weixin_43954673的博客
07-12 1347
下一个兴趣点 (POI) 推荐对用户和 POI 持有者都有很大价值，但这是一项具有挑战性的任务，因为极其稀疏的用户签到数据中包含复杂的顺序模式和丰富的上下文。最近提出的嵌入技术在通过对上下文信息进行建模来缓解数据稀疏问题方面显示出了有希望的结果，并且循环神经网络（RNN）已被证明在顺序预测中是有效的。然而，现有的下一个 POI 推荐方法分别训练嵌入和网络模型，无法充分利用丰富的上下文。在本文中，我们提出了一种新颖的统一神经网络框架，名为NeuNext，它利用 POI 上下文预测来通过。
精选资源
gated-graph-neural-network-samples-master_gated_图神经网络_图神经网络代码_
10-03
在`gated-graph-neural-network-samples-master`这个项目中，你可能会找到以下文件： - `model.py`: 包含GGNN模型的定义和训练代码。 - `data.py`: 数据加载和预处理模块，用于将图数据转化为模型可处理的格式。 - ...
【论文笔记】GCA-Net : Utilizing Gated Context Attention for Improving Image Forgery Localization and Detec
weixin_45366180的博客
02-06 2910
对被操纵像素的取证分析需要从图像中识别各种隐藏的和微妙的特征。传统的图像识别模型通常无法完成这一任务，因为它们偏向于并且更关注占主导地位的局部和空间特征。本文提出了一种新的门控上下文注意力网络（GCA-Net），它利用非局部注意力结合门控机制来捕获更精细的图像差异，从而更好地识别伪造区域。该框架在解码过程的各个阶段使用高维嵌入从粗糙特征映射中过滤和聚合相关上下文。这提高了网络对全局差异的理解，减少了假阳性的定位。
Gated-SCNN: Gated Shape CNNs for Semantic Segmentation
Hu_Linson的博客
10-16 2110
Gated-SCNN
论文笔记SR——GWAInet & GFRnet
weixin_30730053的博客
07-23 781
Learning Warped Guidance for Blind Face Restoration & Exemplar Guided Face Image Super-Resolution without Facial Landmarks Introduction 面部图像超分辨Face image super-resolution旨在重建低分辨率（LR）面...
FrNet_2017.1.16 和谐版无水印
08-10
FrNet_2017.1.16 和谐版无水印 彻底破解，导出都没有demo字样了,是最新版。仅限学习研究使用，请买支持正版。
【论文速读】Gated Feedback Recurrent Neural Network
Mia
12-14 1060
Gated Feedback Recurrent Neural Network 2015, ICML. [paper] 提出了一种新的循环神经网络的架构gated-feedback RNN (GF-RNN)，设计了一种全局门控单元（global gating unit）控制信息如何从上层网络传递到底层网络。 作者认为GF-RNN表现好的主要原因在于，它可以自适应地使得不同的RNN层建模不同时间尺度...
SIGIR 2022 | FRNet：上下文感知的特征强化模块
Paper weekly
11-19 1143
©作者 |汪方野单位 |复旦大学研究方向 |推荐系统 数据挖掘论文标题：Enhancing CTR Prediction with Context-Aware Feature Representation Learning收录会议：SIGIR 2022论文链接：https://arxiv.org/abs/2204.08758简介与主要贡献目前大多数提升点击率预估效果的模型主要是通过建模特征交...
图像基本知识及常用网络
weixin_44845357的博客
09-25 1018
以下是我自己总结的，还有不足的地方。正在不断修改和完善。 推荐一个总结得更好的链接： 概览主要语义分割网络，FCN、UNet、SegNet、DeepLab 等 概览主要语义分割网络 图像基本组成 像素 pixel 灰度值 intensity (一个pixel的最基本特征) 一张image可以看做一个矩阵，矩阵的每一个元素就是一个像素，每个元素上的值就是灰度值 图像处理中常见的任务 1. 图像分类 给定一张输入图像，图像分类的任务是判断该图像属于哪类，如果是多任务分类，可以用于分类该图像包含哪个类别。所以
G-GhostNet（IJCV 2022）原理与代码解析
00000cj的博客
02-14 2146
本文提出了两种轻量网路，用于CPU端的C-GhostNet和用于GPU端的G-GhostNet。前者就是20年的原版GhostNet，这里只是换了个名字，具体可见GhostNet（CVPR 2020） 原理与代码解析，这里不再详细介绍。本文主要介绍新提出的基于GPU端的G-GhostNet。
干货 | 一文概览主要语义分割网络，FCN、UNet、SegNet、DeepLab 等等等等应有尽有
热门推荐
蓝三金的博客
05-25 9万+
原文地址：https://meetshah1995.github.io/semantic-segmentation/deep-learning/pytorch/visdom/2017/06/01/semantic-segmentation-over-the-years.html 介绍 图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。虽然自 2007 年以来，...
Deeplab、目标检测、Segmentation
赵木木
05-07 8816
论文阅读 - Semantic Image Segmentation With Deep Convolutional Nets and Fully Connected CRFs 1. Project 2. 笔记 摘要 —— 主要是将CNN和概率图模型结合，来处理像素级分类问题，即语义图像分割. 由于CNN具有不变性，适合于 high-level 任务，如图...
最新论文阅读（3）
wydbyxr的博客
06-06 836
Gated Feedback Refinement Network for Dense Image Labeling - 2017CVPR - G-FRNet - 曼尼托巴大学【美】 　　GFRNet进行粗略预测，然后在细化阶段高效地整合局部和全球上下文信息，逐步细化细节。我们引入了控制前进信息的门单元，以过滤掉歧义。 　　 AutoEncoder By Forest - ...
主要语义分割网络
qq_32256033的博客
04-30 573
一般的语义分割架构可以被认为是一个编码器——解码器网络。编码器通常是一个预训练的分类网络，像 VGG、ResNet，然后是一个解码器网络。这些架构之间的不同主要在于解码器网络。解码器的任务是将编码器学习到的可判别特征（较低分辨率）从语义上映射到像素空间（较高分辨率），以获得密集分类。 不同于分类任务中深度网络的最终结果（即类存在的概率）被视为唯一重要的事，语义分割不仅需要在像素级有判别能力，还需要...
Medical Transformer:Gated Axial-Attention for Medical Image Segmentation
最新发布
04-30
<think>好的，我现在要帮助用户了解或实现Medical Transformer模型中的Gated Axial-Attention机制，特别是用于医学图像分割的部分。首先，我需要回忆一下用户提供的引用内容。用户引用了两篇资料，其中引用[1]是关于Medical Transformer的论文和代码库，而引用[2]列出了其他相关的分割模型，但用户主要关注的是Medical Transformer。 用户的问题具体是关于Gated Axial-Attention的实现，所以需要深入理解这个机制的工作原理。根据论文，Gated Axial-Attention结合了轴向注意力和门控机制，轴向注意力指的是在图像的两个轴上（比如行和列）分别应用自注意力，这样可以减少计算量，同时捕捉长程依赖。门控机制则可能用于调整注意力权重，增强重要特征，抑制不相关的部分。 接下来，我需要考虑如何将这个机制转化为代码实现。可能需要参考论文中的结构图和公式。例如，轴向注意力可能分为行注意力和列注意力两个部分，然后通过门控机制进行融合。门控可能使用sigmoid函数来生成0到1之间的权重，然后将这两个注意力输出加权相加。 然后，我需要检查用户提供的代码链接，确保代码结构正确。用户给出的GitHub仓库是jeya-maria-jose/Medical-Transformer，所以应该参考其中的实现。例如，可能在axial_attention.py或者类似的文件中找到Gated Axial-Attention的代码。 此外，需要注意医学图像的特点，比如高分辨率和局部细节的重要性，这可能影响模型的设计。例如，轴向注意力可以处理二维结构，而门控机制帮助模型专注于关键区域，这对分割任务很重要。 用户可能需要具体的代码示例，所以需要提供PyTorch的实现片段，包括轴向注意力的分解、位置编码的添加，以及门控机制的应用。同时，要解释每个部分的作用，比如如何计算查询、键、值，如何应用位置编码，如何生成门控权重，并融合行和列的注意力结果。 还需要考虑实现中的细节，比如如何将二维图像转换为序列以适应Transformer结构，如何处理位置信息，以及如何将轴向注意力模块集成到UNet等分割网络中。可能还需要讨论数据预处理、训练策略和损失函数的选择，比如结合Dice损失和交叉熵损失。 最后，用户可能对如何应用该模型到自己的医学图像数据感兴趣，所以需要给出训练和推理的步骤，比如加载数据、构建模型、设置优化器和训练循环等。同时，提供相关的参考文献和代码库链接，方便用户进一步查阅。</think>以下是为您整理的Medical Transformer中Gated Axial-Attention实现详解： ### 一、Gated Axial-Attention机制解析 1. **轴向注意力分解**：将2D自注意力分解为行、列两个1D注意力操作 $$ \text{Attention}(Q,K,V) = \text{Softmax}(\frac{QK^T}{\sqrt{d_k}} + P)V $$ 其中位置编码$P$分解为$P_{row}$和$P_{col}$[^1] 2. **门控机制实现**： ```python class GatedAxialAttention(nn.Module): def __init__(self, dim, heads): super().__init__() self.row_att = AxialAttention(dim, heads, axis=0) # 行注意力 self.col_att = AxialAttention(dim, heads, axis=1) # 列注意力 self.gate = nn.Parameter(torch.ones(2)) # 可学习门控参数 def forward(self, x): row_out = self.row_att(x) col_out = self.col_att(x) # 门控融合 return torch.sigmoid(self.gate[0])*row_out + torch.sigmoid(self.gate[1])*col_out ``` ### 二、完整实现步骤 1. **特征序列化**：将2D医学图像转换为序列 ```python b, c, h, w = x.shape x_seq = x.view(b, c, h*w).permute(0, 2, 1) # [b, h*w, c] ``` 2. **位置编码注入**： ```python class AxialPositionalEmbedding(nn.Module): def __init__(self, dim, shape): super().__init__() self.row_emb = nn.Parameter(torch.randn(shape[0], dim//2)) self.col_emb = nn.Parameter(torch.randn(shape[1], dim//2)) def forward(self, x): return x + torch.cat([self.row_emb.unsqueeze(1), self.col_emb.unsqueeze(0)], dim=-1).flatten(0,1) ``` 3. **完整网络架构**（基于UNet框架）： ```python class MedicalTransformer(nn.Module): def __init__(self, in_ch=3, classes=2): super().__init__() self.encoder = nn.Sequential( ConvBlock(in_ch, 64), GatedAxialAttention(64, heads=4), Downsample(64, 128), GatedAxialAttention(128, heads=8), Downsample(128, 256) ) self.decoder = ... # 对称上采样结构 ``` ### 三、训练实践要点 1. **数据预处理**： - 医学图像标准化（CT值截断+归一化） - 随机旋转/翻转增强 - 器官特定ROI裁剪 2. **损失函数组合**： ```python loss = 0.5*DiceLoss()(pred, mask) + 0.5*CrossEntropyLoss()(pred, mask) ``` 3. **训练策略**： ```python optimizer = AdamW(model.parameters(), lr=1e-4, weight_decay=1e-5) scheduler = CosineAnnealingLR(optimizer, T_max=100) ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值