论文阅读： Gated Context Aggregation Network for Image Dehazing and Deraining

最新推荐文章于 2023-11-21 17:25:07 发布
原创 最新推荐文章于 2023-11-21 17:25:07 发布 · 3k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习 #网络

今天发现自己构思了很久的一个想法，已经初步成型 的网络，在ArXiv上发现了已经成型的论文。害，现在心情很down

2018 WACV ：GCANet

这篇文章主要结合平滑扩张卷积以及提出了一种门限融合子网络来完成图像的去雾和去雨，效果比较好。
在这里插入图片描述

本片文章主要是提出了一个端到端门控上下文聚合网络来直接恢复最终的无模糊图像。
在该网络中，我们采用最新的平滑扩张卷积技术来帮助去除广泛使用的扩张卷积引起的网格伪影，而额外的参数可以忽略，并利用门控子网络融合不同层次的特征。

主要关键词： 平滑扩张卷积 + 门控融合子网络

网络结构

在这里插入图片描述

整体网络可以看作一个简单的自动编码器。
从网络中我们可以看出，首先是三个卷积模块将输入的模糊图像编码到特征图中作为编码部分，并且最后一个卷积层进行了下采样。
然后通过七个平滑扩张的残差块，使用平滑扩张卷积替代了原始的正则卷积层。除了最后一个卷积层和平滑扩张卷积层中额外的每一个可分离和共享的卷积层，我们在每个卷积层之后放置了实例归一化层 IN 和ReLU层。
再之后通过一个门限融合子网络用于融合不同leve的特征，这里是一个简单的卷积模块。
再之后，通过一个反卷积层上采样到原始分辨率，接下来的两个卷积层将feature map转换回图像空间，得到残差图，最终得到一个处理之后的图像。

具体实现

1、平滑扩张卷积

对于传统的池化层和连续的上下采样可能

最低0.47元/天 解锁文章

200万优质内容无限畅学
《Gated Context Aggregation Network for Image Dehazing and Deraining》阅读笔记
69小石头的博客
11-04 1754
一、论文 摘要：图像去雾的目的是从朦胧的图像中恢复未损坏的内容。 我们没有利用传统的低级或手工图像先验作为恢复约束条件（例如，暗通道和增加的对比度），而是提出了一种端到端门控上下文聚合网络来直接恢复最终的无雾图像。 在该网络中，我们采用了最新的平滑扩张技术，以帮助消除由广泛使用的扩张卷积和可忽略的额外参数引起的网格化伪影，并利用门控子网融合不同级别的特征。 大量的实验表明，我们的方法在数量和质量上都可以大大超过以前的最新方法。 另外，为了证明所提方法的通用性，我们将其进一步应用于图像去水任务，这也实现了最
【论文阅读】深度学习去雾1——论文精选
hyfine
06-05 1万+
文章目录HDP-Net: Haze Density Prediction Network for Nighttime DehazingGated Context Aggregation Network for Image Dehazing and DerainingSingle Image Haze Removal using a Generative Adversarial Network ...
【论文阅读】Gated Context Aggregation Network for Image Dehazing and Deraining
Gillian_z
11-04 6747
论文发表于WACV 2019
【Gated Context Aggregation Network for Image Dehazing and Deraining用于图像去雾和去雨的门控上下文聚合网络】，个人笔记，勿喷
learning5201的博客
08-02 1424
摘要 图像去雾旨在从模糊图像中恢复未损坏的内容。我们没有利用传统的低级或手工图像先验作为恢复约束，例如暗通道和增加的对比度，而是提出了一个端到端的门控上下文聚合网络来直接恢复最终的无雾图像。在这个网络中，我们采用最新的平滑扩张技术来帮助消除由广泛使用的扩张卷积引起的网格化伪影，额外参数可忽略不计，并利用门控子网络融合不同层次的特征。大量实验表明，我们的方法可以在数量和质量上大大超过以前的最先进方法。此外，为了证明所提出方法的通用性，我们进一步将其应用于图像去雨任务，这也达到了最先进的性能...
GCANet（Gated Context Aggregation Network for Image Dehazing and Deraining）图像去雾去雨
w18226357716的博客
12-03 9508
GCANet.py import torch import torch.nn as nn import torch.nn.functional as F class ShareSepConv(nn.Module): def __init__(self, kernel_size): super(ShareSepConv, self).__init__() assert kernel_size % 2 == 1, 'kernel size should be o.
Gated Context Aggregation Network for Image Dehazing and Deraining（GCANet）
AI小花猫的博客
11-10 796
去雾网络GCANet的学习笔记，其中包含网络设计原理、网格伪影形成和解决以及门限子网络等的介绍
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
GCANet: Gated context aggregation network for image dehazing and deraining
木槿qwer的博客
11-21 478
Abstract 1、propose an end-to-end gated context aggregation network 2、use smoothed dilation to help remove the gridding artifacts 3、use a gated sub-network to fuse the features from different levels
Gated Context Aggregation Network for Image Dehazing and Deraining
女王の专属领地
03-15 5769
论文：https://arxiv.org/abs/1811.08747 代码：https://github.com/cddlyf/GCANet 相关知识点： smooth dilated convolution https://blog.youkuaiyun.com/Julialove102123/article/details/88852447 https://blog.youkuaiyun.com/moon...
GCANet:“用于图像去雾和去水化的门控上下文聚合网络”的实现
05-01
门控上下文聚合网络，用于图像去雾和排水 这是我们WACV 2019纸“门控上下文聚合网络进行图像除雾和Deraining”通过实施，，等。 在本文中，我们提出了一种用于图像去雾的新的端到端门控上下文聚合网络GCANet，其中使用平滑的扩展卷积来避免网格化伪影，并且使用门控子网融合不同级别的特征。 实验表明，在质量和数量上，GCANet都比以前所有最新的图像去雾方法都具有更好的性能。 我们进一步将提出的GCANet应用于图像清除任务，该任务也优于以前的最新图像清除方法，并证明了其通用性。 入门 本文是使用Pytorch框架实现的。 演示版 将所有测试图像直接放在一个目录下。 然后运行： python test.py --task [dehaze | derain] --gpu_id [gpu_id] --indir [input directory] --outdir [outpu
Gated Convolutional Networks with Hybrid Connectivity for Image Classification,混合连通性的门限卷积网络来进行图像分类
winycg的博客
06-09 1878
本篇博客介绍在AAAI-2020发表的关于人工设计的一种图像分类结构： 论文名称：Gated Convolutional Networks with Hybrid Connectivity for Image Classification 论文地址： 代码实现：
他山之石：扩张卷积及平滑扩张卷积
wang_chaochen的博客
07-17 1046
扩张卷积 知乎大佬回答 平滑扩张卷积 知乎大佬回答
去雾网络----GCA-Net
qq_59581717的博客
09-02 1001
GCA-Net。
【论文阅读】GCA：Graph Contrastive Learning with Adaptive Augmentation
cziun的博客
08-03 5761
代码链接：https://github.com/CRIPAC-DIG/GCA 基于自适应增强的图对比学习摘要1 引言2 相关工作3 方法3.1 准备工作3.2 对比学习框架3.3 自适应图增强3.3.1 拓扑级增强3.3.2 节点属性级增强 摘要 近年来，对比学习（CL）已成为一种成功的无监督图表示学习方法。大多数图CL方法首先对输入图进行随机增强，以获得两个图视图，并最大限度地提高两个视图的表示一致性。尽管图CL方法的蓬勃发展，但图增强方案的设计——CL中的一个关键组成部分——仍然很少被探索。 我们认为，
【语义分割】Smoothed Dilated Convolutions for Improved Dense Prediction阅读笔记
会意的博客
10-25 4041
论文地址：https://arxiv.org/abs/1808.08931 或：https://www.kdd.org/kdd2018/accepted-papers/view/smoothed-dilated-convolutions-for-improved-dense-prediction 代码：https://github.com/divelab/dilated 作者：Zhengyang ...
最容易理解的对卷积(convolution)的解释
热门推荐
bitcarmanlee的博客
01-25 30万+
啰嗦开场白读本科期间，信号与系统里面经常讲到卷积(convolution)，自动控制原理里面也会经常有提到卷积。硕士期间又学了线性系统理论与数字信号处理，里面也是各种大把大把卷积的概念。至于最近大火的深度学习，更有专门的卷积神经网络(Convolutional Neural Network, CNN)，在图像领域取得了非常好的实际效果，已经把传统的图像处理的方法快干趴下了。啰啰嗦嗦说了这么多卷积，惭
Dilated Convolutions——扩张卷积
SnailTyan
12-07 1万+
Dilated Convolutions——扩张卷积
基于扩张卷积神经网络的图像超分辨率
独家记忆的博客
12-18 1万+
摘要： 图像超分辨率（SR）由于其广泛的实际应用而引起了人们的广泛关注。SR的目的是从低分辨率图像重建高分辨率图像。利用深度学习方法，特别是卷积神经网络（CNNs）在计算机视觉领域取得的巨大成功，是利用CNNs解决SR问题的好方法。本文提出了一种具有跳跃连接的七层扩张卷积神经网络（DCNN），用于从插值低分辨率图像恢复高分辨率图像。扩展卷积允许我们任意地控制网络的视场（FOV）。据我们所知，这是...
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
最新发布
12-30
### Gated Axial-Attention 方法在医学图像分割中的应用 #### 背景介绍 近年来，深度卷积神经网络 (CNNs) 已经成为医学图像分割的主要工具之一，在多个应用场景下表现出色。然而，由于其固有的局限性——难以捕捉长距离依赖关系，这限制了 CNN 的表现潜力[^3]。 #### Transformer 架构的优势 相比之下，Transformer 模型通过自注意力机制能够有效地处理序列数据间的远距离交互问题，从而提供更加丰富的特征表示能力。这种特性对于需要理解复杂空间模式的任务特别有用，比如医学影像分析[^4]。 #### MedT 中的 Gated Axial-Attention 设计理念 针对医学图像特有的挑战，即有限的数据量以及高分辨率需求等问题，研究人员提出了 Medical Transformer (MedT)，它引入了一种新颖的设计——门控轴向注意力建模方式(Gated Axial-Attention)[^1]。该设计旨在解决标准 Transformers 需要大量标注样本才能良好工作的难题，并适应医疗领域内小型化且高质量的要求。 具体来说： - **门控机制**：为了增强模型的学习效率并减少过拟合风险，MedT 在传统的 Self-Attention 层之上加入了门控单元。这些门允许网络动态调整哪些部分应该被重点关注或忽略掉，进而提高了对输入信号的选择性和鲁棒性。 - **轴向注意力**：不同于常规全连接式的多头自我关注层，这里采用了分片策略来降低计算成本的同时保持足够的感受野覆盖范围。这意味着每个像素只与其所在行/列上的其他位置建立联系，而不是整个图片平面内的每一个点都相互作用。这种方法不仅简化了架构而且有助于更好地提取局部上下文信息。 ```python class GatedAxialAttention(nn.Module): def __init__(self, dim, num_heads=8, qkv_bias=False, attn_drop=0., proj_drop=0.): super().__init__() self.num_heads = num_heads head_dim = dim // num_heads self.scale = head_dim ** -0.5 # 定义查询、键和值线性变换矩阵 self.qkv = nn.Linear(dim, dim * 3, bias=qkv_bias) # 初始化门控参数 self.gate = nn.Parameter(torch.ones(num_heads)) def forward(self, x): B, H, W, C = x.shape qkv = self.qkv(x).reshape(B, H*W, 3, self.num_heads, C//self.num_heads).permute(2, 0, 3, 1, 4) q, k, v = qkv.unbind(0) # 计算注意力权重 attn = (q @ k.transpose(-2, -1)) * self.scale attn = F.softmax(attn, dim=-1) attn = self.attn_drop(attn) # 应用门控操作 gated_attn = torch.sigmoid(self.gate.view(1,-1,1,1)) * attn # 更新后的加权求和过程 x = (gated_attn @ v).transpose(1, 2).reshape(B,H,W,C) return x ``` 上述代码片段展示了如何实现一个简单的带有门控功能的轴向注意力模块。其中 `gate` 参数用来控制各个头部的重要性程度；而实际运算过程中则是通过对原始 Attention Map 施加 Sigmoid 函数得到的概率值来进行调节[^2]。 #### LoGo 策略概述 除了改进核心组件外，研究者们还开发了一套名为 “Learning from Global and Local Patches” 或简称 LoGo 的训练方案。此方法鼓励模型同时考虑整体布局与细节差异两方面因素，进一步提升了最终预测精度。具体做法是在每次迭代期间交替呈现整幅图像及其随机裁剪的小区域给定网络学习，以此促进更全面的理解能力和泛化性能。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值