论文阅读： Gated Context Aggregation Network for Image Dehazing and Deraining

最新推荐文章于 2023-11-21 17:25:07 发布
原创 最新推荐文章于 2023-11-21 17:25:07 发布 · 3k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习 #网络

今天发现自己构思了很久的一个想法，已经初步成型 的网络，在ArXiv上发现了已经成型的论文。害，现在心情很down

2018 WACV ：GCANet

这篇文章主要结合平滑扩张卷积以及提出了一种门限融合子网络来完成图像的去雾和去雨，效果比较好。
在这里插入图片描述

本片文章主要是提出了一个端到端门控上下文聚合网络来直接恢复最终的无模糊图像。
在该网络中，我们采用最新的平滑扩张卷积技术来帮助去除广泛使用的扩张卷积引起的网格伪影，而额外的参数可以忽略，并利用门控子网络融合不同层次的特征。

主要关键词： 平滑扩张卷积 + 门控融合子网络

网络结构

在这里插入图片描述

整体网络可以看作一个简单的自动编码器。
从网络中我们可以看出，首先是三个卷积模块将输入的模糊图像编码到特征图中作为编码部分，并且最后一个卷积层进行了下采样。
然后通过七个平滑扩张的残差块，使用平滑扩张卷积替代了原始的正则卷积层。除了最后一个卷积层和平滑扩张卷积层中额外的每一个可分离和共享的卷积层，我们在每个卷积层之后放置了实例归一化层 IN 和ReLU层。
再之后通过一个门限融合子网络用于融合不同leve的特征，这里是一个简单的卷积模块。
再之后，通过一个反卷积层上采样到原始分辨率，接下来的两个卷积层将feature map转换回图像空间，得到残差图，最终得到一个处理之后的图像。

具体实现

1、平滑扩张卷积

对于传统的池化层和连续的上下采样可能

最低0.47元/天 解锁文章
【Gated Context Aggregation Network for Image Dehazing and Deraining用于图像去雾和去雨的门控上下文聚合网络】，个人笔记，勿喷
learning5201的博客
08-02 1490
摘要 图像去雾旨在从模糊图像中恢复未损坏的内容。我们没有利用传统的低级或手工图像先验作为恢复约束，例如暗通道和增加的对比度，而是提出了一个端到端的门控上下文聚合网络来直接恢复最终的无雾图像。在这个网络中，我们采用最新的平滑扩张技术来帮助消除由广泛使用的扩张卷积引起的网格化伪影，额外参数可忽略不计，并利用门控子网络融合不同层次的特征。大量实验表明，我们的方法可以在数量和质量上大大超过以前的最先进方法。此外，为了证明所提出方法的通用性，我们进一步将其应用于图像去雨任务，这也达到了最先进的性能...
【论文阅读】Gated Context Aggregation Network for Image Dehazing and Deraining
Gillian_z
11-04 6844
论文发表于WACV 2019
GCANet（Gated Context Aggregation Network for Image Dehazing and Deraining）图像去雾去雨
w18226357716的博客
12-03 9679
GCANet.py import torch import torch.nn as nn import torch.nn.functional as F class ShareSepConv(nn.Module): def __init__(self, kernel_size): super(ShareSepConv, self).__init__() assert kernel_size % 2 == 1, 'kernel size should be o.
《Gated Context Aggregation Network for Image Dehazing and Deraining》阅读笔记
69小石头的博客
11-04 1786
一、论文 摘要：图像去雾的目的是从朦胧的图像中恢复未损坏的内容。 我们没有利用传统的低级或手工图像先验作为恢复约束条件（例如，暗通道和增加的对比度），而是提出了一种端到端门控上下文聚合网络来直接恢复最终的无雾图像。 在该网络中，我们采用了最新的平滑扩张技术，以帮助消除由广泛使用的扩张卷积和可忽略的额外参数引起的网格化伪影，并利用门控子网融合不同级别的特征。 大量的实验表明，我们的方法在数量和质量上都可以大大超过以前的最新方法。 另外，为了证明所提方法的通用性，我们将其进一步应用于图像去水任务，这也实现了最
Gated Context Aggregation Network for Image Dehazing and Deraining（GCANet）
AI小花猫的博客
11-10 868
去雾网络GCANet的学习笔记，其中包含网络设计原理、网格伪影形成和解决以及门限子网络等的介绍
GCANet: Gated context aggregation network for image dehazing and deraining
木槿qwer的博客
11-21 510
Abstract 1、propose an end-to-end gated context aggregation network 2、use smoothed dilation to help remove the gridding artifacts 3、use a gated sub-network to fuse the features from different levels
Gated Context Aggregation Network for Image Dehazing and Deraining
女王の专属领地
03-15 5920
论文：https://arxiv.org/abs/1811.08747 代码：https://github.com/cddlyf/GCANet 相关知识点： smooth dilated convolution https://blog.youkuaiyun.com/Julialove102123/article/details/88852447 https://blog.youkuaiyun.com/moon...
Gated Convolutional Networks with Hybrid Connectivity for Image Classification,混合连通性的门限卷积网络来进行图像分类
winycg的博客
06-09 2017
本篇博客介绍在AAAI-2020发表的关于人工设计的一种图像分类结构： 论文名称：Gated Convolutional Networks with Hybrid Connectivity for Image Classification 论文地址： 代码实现：
Smoothed Dilated Convolutions for Improved Dense Prediction
weixin_42788402的博客
12-23 1052
Smoothed Dilated Convolutions for Improved Dense Prediction 出处：KDD2018 作者：Zhengyang Wang and Shuiwang Ji 一、问题：扩张卷积会受网格伪影(gridding artifacts)的影响，这阻碍了使用扩张卷积的DCNN的性能。 扩张卷积的分解 上述分解过程中的第二步得到的feature maps不...
GCN论文
weixin_30468137的博客
05-29 632
Linkage Based Face Clustering via Graph Convolution Network（CVPR1903 图卷积网络GCN无监督人脸聚类） https://arxiv.org/pdf/1903.11306.pdf 解读：CVPR1903_图卷积网络GCN无监督人脸聚类 code：https://github.com/Zhongdao/gcn_clus...
GCANet:“用于图像去雾和去水化的门控上下文聚合网络”的实现
05-01
门控上下文聚合网络，用于图像去雾和排水 这是我们WACV 2019纸“门控上下文聚合网络进行图像除雾和Deraining”通过实施，，等。 在本文中，我们提出了一种用于图像去雾的新的端到端门控上下文聚合网络GCANet，其中使用平滑的扩展卷积来避免网格化伪影，并且使用门控子网融合不同级别的特征。 实验表明，在质量和数量上，GCANet都比以前所有最新的图像去雾方法都具有更好的性能。 我们进一步将提出的GCANet应用于图像清除任务，该任务也优于以前的最新图像清除方法，并证明了其通用性。 入门 本文是使用Pytorch框架实现的。 演示版 将所有测试图像直接放在一个目录下。 然后运行： python test.py --task [dehaze | derain] --gpu_id [gpu_id] --indir [input directory] --outdir [outpu
他山之石：扩张卷积及平滑扩张卷积
wang_chaochen的博客
07-17 1075
扩张卷积 知乎大佬回答 平滑扩张卷积 知乎大佬回答
去雾网络----GCA-Net
qq_59581717的博客
09-02 1074
GCA-Net。
图像去雾基础知识
小菜鸟
03-09 6835
研究分类：图像增强和图像复原 ----图像增强：基于图像增强的去雾算法出发点是尽量去除图像噪声，提高图像对比度，从而恢复出无雾清晰图像 ----方法：直方图均衡化（HLE）、自适应直方图均衡化（AHE）、限制对比度自适应直方图均衡化（CLAHE）、Retinex算 法、小波变换、同态滤波。 ----图像复原：基于大气退化模型，进行响应的去雾处理 ----方法：暗通道去雾算法、基于导向滤波的暗通道去雾算法、Fattal的单幅图像去雾算法（Single image dehazing）、Tan的单..
图像去雾领域经典论文及代码
正在thu实习搬砖的CVer，欢迎交流保研和计算机视觉。 ​
03-28 5968
前言 随着图像处理技术和计算机视觉技术的蓬勃发展，对特殊天气下的场景检测和图像处理成为重要的研究方向。在雾天拍摄的图像容易受雾或霾的影响，导致图片模糊、对比度低以至于丢失图像重要信息。因此，需要对带雾图像进行去雾，处理图像信息，保证其他计算机视觉任务的正常运行。 图像去雾领域近几年的顶会顶刊 Single Image Ha#ze Removal Using Dark Channel Prior 何凯明大神的暗通道先验，图像去雾的开山之作。 论文地址：https://ieeexplore.ieee.org
GCnet论文详解
热门推荐
weixin_42662358的博客
05-29 1万+
传送地址：https://arxiv.org/pdf/1904.11492.pdf 主要思想 如何获取全文信息(global context) 或者叫长距离依赖性。从视觉角度直观理解，比如我们要认出一个人的话可能需要看整个脸部才能认的出来，单给你脸部的一块皮肤，鼻子相对比较难判断。极端一点来说，例如你的朋友离你很远的情况下，需要看身高，衣服来获取整体的信息才能做出判断。 那么对于图像卷积来说，如何...
【论文阅读】GCA：Graph Contrastive Learning with Adaptive Augmentation
cziun的博客
08-03 6014
代码链接：https://github.com/CRIPAC-DIG/GCA 基于自适应增强的图对比学习摘要1 引言2 相关工作3 方法3.1 准备工作3.2 对比学习框架3.3 自适应图增强3.3.1 拓扑级增强3.3.2 节点属性级增强 摘要 近年来，对比学习（CL）已成为一种成功的无监督图表示学习方法。大多数图CL方法首先对输入图进行随机增强，以获得两个图视图，并最大限度地提高两个视图的表示一致性。尽管图CL方法的蓬勃发展，但图增强方案的设计——CL中的一个关键组成部分——仍然很少被探索。 我们认为，
论文阅读笔记 UGNet: Underexposed Images Enhancement Network based on Global Illumination Estimation
qq_28234239的博客
12-20 471
摘要 文章提出了一个新的神经网络对曝光不足的图片增强。与基于Retinex算法的分解方法不同，文章引入平滑扩张卷积去估计输入图像的全局亮度。提出联合内容，颜色，纹理，和平滑度的联合损失函数。 背景介绍 pass 方法详述 UGNet 可以分为两个部分，全局亮度估计网络，和细节增强网络。文章还详细说了多项损失函数的细节。 A 全局亮度估计网络 当前的一些增强网络通常会通过pooling，下采样或者多尺度连接来得到大范围的上下文信息和全局亮度信息。但是，一方面，对于密集的预测任务，多尺度上下文信息的收集需要扩大
常见的一些卷积模式
YoGooooooooooo的博客
08-18 666
1，标准卷积 标准卷积过程如上。 对于多通道的卷积：举个例子，假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32。那么一般的操作就是用32个3×3的卷积核来分别同输入数据卷积，这样每个卷积核需要3×3×16个参数，得到的输出是只有一个通道的数据。之所以会得到一通道的数据，是因为刚开始3×3×16的卷积核的每个通道会在输入数据的每个对应通道上做卷积，然后叠加每一个通道对应位置的值，使之...
Medical Transformer:Gated Axial-Attention for Medical Image Segmentation
最新发布
04-30
<think>好的，我现在要帮助用户了解或实现Medical Transformer模型中的Gated Axial-Attention机制，特别是用于医学图像分割的部分。首先，我需要回忆一下用户提供的引用内容。用户引用了两篇资料，其中引用[1]是关于Medical Transformer的论文和代码库，而引用[2]列出了其他相关的分割模型，但用户主要关注的是Medical Transformer。 用户的问题具体是关于Gated Axial-Attention的实现，所以需要深入理解这个机制的工作原理。根据论文，Gated Axial-Attention结合了轴向注意力和门控机制，轴向注意力指的是在图像的两个轴上（比如行和列）分别应用自注意力，这样可以减少计算量，同时捕捉长程依赖。门控机制则可能用于调整注意力权重，增强重要特征，抑制不相关的部分。 接下来，我需要考虑如何将这个机制转化为代码实现。可能需要参考论文中的结构图和公式。例如，轴向注意力可能分为行注意力和列注意力两个部分，然后通过门控机制进行融合。门控可能使用sigmoid函数来生成0到1之间的权重，然后将这两个注意力输出加权相加。 然后，我需要检查用户提供的代码链接，确保代码结构正确。用户给出的GitHub仓库是jeya-maria-jose/Medical-Transformer，所以应该参考其中的实现。例如，可能在axial_attention.py或者类似的文件中找到Gated Axial-Attention的代码。 此外，需要注意医学图像的特点，比如高分辨率和局部细节的重要性，这可能影响模型的设计。例如，轴向注意力可以处理二维结构，而门控机制帮助模型专注于关键区域，这对分割任务很重要。 用户可能需要具体的代码示例，所以需要提供PyTorch的实现片段，包括轴向注意力的分解、位置编码的添加，以及门控机制的应用。同时，要解释每个部分的作用，比如如何计算查询、键、值，如何应用位置编码，如何生成门控权重，并融合行和列的注意力结果。 还需要考虑实现中的细节，比如如何将二维图像转换为序列以适应Transformer结构，如何处理位置信息，以及如何将轴向注意力模块集成到UNet等分割网络中。可能还需要讨论数据预处理、训练策略和损失函数的选择，比如结合Dice损失和交叉熵损失。 最后，用户可能对如何应用该模型到自己的医学图像数据感兴趣，所以需要给出训练和推理的步骤，比如加载数据、构建模型、设置优化器和训练循环等。同时，提供相关的参考文献和代码库链接，方便用户进一步查阅。</think>以下是为您整理的Medical Transformer中Gated Axial-Attention实现详解： ### 一、Gated Axial-Attention机制解析 1. **轴向注意力分解**：将2D自注意力分解为行、列两个1D注意力操作 $$ \text{Attention}(Q,K,V) = \text{Softmax}(\frac{QK^T}{\sqrt{d_k}} + P)V $$ 其中位置编码$P$分解为$P_{row}$和$P_{col}$[^1] 2. **门控机制实现**： ```python class GatedAxialAttention(nn.Module): def __init__(self, dim, heads): super().__init__() self.row_att = AxialAttention(dim, heads, axis=0) # 行注意力 self.col_att = AxialAttention(dim, heads, axis=1) # 列注意力 self.gate = nn.Parameter(torch.ones(2)) # 可学习门控参数 def forward(self, x): row_out = self.row_att(x) col_out = self.col_att(x) # 门控融合 return torch.sigmoid(self.gate[0])*row_out + torch.sigmoid(self.gate[1])*col_out ``` ### 二、完整实现步骤 1. **特征序列化**：将2D医学图像转换为序列 ```python b, c, h, w = x.shape x_seq = x.view(b, c, h*w).permute(0, 2, 1) # [b, h*w, c] ``` 2. **位置编码注入**： ```python class AxialPositionalEmbedding(nn.Module): def __init__(self, dim, shape): super().__init__() self.row_emb = nn.Parameter(torch.randn(shape[0], dim//2)) self.col_emb = nn.Parameter(torch.randn(shape[1], dim//2)) def forward(self, x): return x + torch.cat([self.row_emb.unsqueeze(1), self.col_emb.unsqueeze(0)], dim=-1).flatten(0,1) ``` 3. **完整网络架构**（基于UNet框架）： ```python class MedicalTransformer(nn.Module): def __init__(self, in_ch=3, classes=2): super().__init__() self.encoder = nn.Sequential( ConvBlock(in_ch, 64), GatedAxialAttention(64, heads=4), Downsample(64, 128), GatedAxialAttention(128, heads=8), Downsample(128, 256) ) self.decoder = ... # 对称上采样结构 ``` ### 三、训练实践要点 1. **数据预处理**： - 医学图像标准化（CT值截断+归一化） - 随机旋转/翻转增强 - 器官特定ROI裁剪 2. **损失函数组合**： ```python loss = 0.5*DiceLoss()(pred, mask) + 0.5*CrossEntropyLoss()(pred, mask) ``` 3. **训练策略**： ```python optimizer = AdamW(model.parameters(), lr=1e-4, weight_decay=1e-5) scheduler = CosineAnnealingLR(optimizer, T_max=100) ```
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值