论文阅读：Lightweight Pyramid Networks for Image Deraining

最新推荐文章于 2024-12-28 11:21:52 发布
原创 最新推荐文章于 2024-12-28 11:21:52 发布 · 2.1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #python

本文介绍LPNet，一种用于雨滴去除的轻量级网络，通过结合高斯-拉普拉斯金字塔技术，采用递归和残差结构，实现了参数精简，深度和结构简化。网络利用多尺度技术和去除BN层，提升灵活性并减少计算资源。

稍微整理一下这两篇轻量级的网络。内容比较少，也不写多

2019 T-NNLS：LPNet

这篇文章也是傅雪阳的一篇文章，主要提出了一种轻量级的金字塔网络。
工程：LPNet

在这里插入图片描述

简而言之，文章简化了网络结构，在神经网络中引入了高斯拉普拉斯金字塔分解技术，采用了递归和残差网络结构构建网络，大大减少了网络参数。

主要创新之处

1、CNN结合经典的高斯-拉普拉斯金字塔技术，提出了一个参数较少、深度较浅、结构简单的网络。
2、网络结合了多尺度技术、递归和残差学习，同时去除了BN。

网络结构

整体网络结构：
在这里插入图片描述
子网络：
在这里插入图片描述
递归模块：
在这里插入图片描述

首先将一个rainy图像分解成

最低0.47元/天 解锁文章
【超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-25 2万+
本专栏研究领域为【超分辨率重建】，涵盖图像超分、视频超分，实时超分，4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今，一般是一篇论文精读对应一篇论文复现。论文精读详解理论，归化繁为简，归纳核心，积累词句，培养阅读论文和论文写作能力。论文复现依托Pytorch代码，实现完整的模型训练流程，总结调参方法，记录碰到的bug，论文插图可视化，培养读写代码能力、做实验的能力、以及应用落地能力。
【超分辨率】（RDN）Residual Dense Network for Image Super-Resolution论文翻译
abxl987的博客
10-15 1901
（RDN）Residual Dense Network for Image Super-Resolution论文全篇翻译，论文的重要部分为人工翻译，非机翻。在后续中，我会慢慢补上全部的人工翻译
【论文阅读】Pyramid Attention Networks for Image Restoration
weixin_43169773的博客
09-21 1618
论文地址 论文代码 参考博客 参考知乎-具体细节 注意力机制（Attention）Non-local Neural Networks 图像非局部均值滤波的原理 Non-local模块与Self-attention的之间的关系与区别？ self-attention code introduction 共同的部分都是利用相关特征学习权重分布，再用学出来的权重施加在特征之上进一步提取相关知识。 不过施加权重的方式略有差别，可以总结如下： 加权可以作用在原图上； 加权可以作用在空间尺度上，给不同空间区域加权； 加权
LightweightNet：通过架构提炼实现快速轻量的卷积神经网络
weixin_42180950的博客
12-09 1129
这篇文章非常适合搞轻量级网络结构的人看，文章行文精致细腻，工作量极大。我只精读了摘要和引言，其他部分太过专业，我水平不够看不懂，毕竟是篇顶刊的文章，看不懂是对它最起码的尊重。待以后提高水平再回来补充。 题目:LightweightNet: Toward fast and lightweight convolutional neural networks via architecture dist...
LPD-Net学习笔记
不屈不挠的拉普
06-02 2033
LPD-Net学习笔记 LPD-Net指 LPD-Net: 3D Point Cloud Learning for Large-Scale Place Recognition and Environment Analysis 文中所指LPD-Net。 本文主要依据网络结构图简单解释每个模块的作用。 Adaptive Local Feature Extraction 文中提到大尺度场景点云中每个点局部分布是不均匀的（可以理解为有的地方点密集、有的地方点稀疏）因此在使用KNN构建邻域图时需要自适应的选择K值，
LPNet for Image Derain
Vago的博客
03-04 1080
图像去雨论文Lightweight Pyramid Networks for Image Deraining阅读
《Lightweight Network Architecture for Real-Time Action Recognition》的论文学习
hsclyy的博客
09-19 1163
Lightweight Network Architecture for Real-Time Action Recognition 用于实时动作识别的轻量级网络架构Abstract 摘要Introduction 引言Related Work 相关的工作ApproachArchitecture overviewMultimodal knowledge distillation总结：速度不是最快的，但...
【论文分享】LRP-net: A lightweight recursive pyramid network for single image deraining
Alex抱着爆米花的博客
10-22 782
而对于相对较深的网络模型（第五轮性能最好），过多的回合将导致特征的冗余，这对网络能力产生负面影响，导致训练时间和资源增加同时泛化能力下降。的去雨网络，主要贡献是设计了LPD( Lightweight Pyramid Deraining ) 模块，，为在参数量减少的同时保证性能的提升采用类似PReNet的递归机制来循环去雨，是一种。卷积核，这样会导致在某个特征野中提取特征，由于雨条纹的密度和方向不同，这导致多尺度特征更能提升去雨性能，对N阶段的每个阶段都计算MSE和SSIM，得到总的loss，标记为。
【论文笔记】MiniSeg: An Extremely Minimum Network for Efficient COVID-19 Segmentation
m0_58678659的博客
07-26 1777
提出了 MiniSeg，一种用于高效 COVID-19 分割的轻量级深度学习模型。
论文《Lightweight Face Recognition Challenge (ICCV 2019)》
zcc的博客
04-08 925
论文内容如下： 小模型的人脸识别：<=20M， <=1G FLOPS 第一： VarGFaceNet：使用变量群卷积(variable group convolution)减少计算量和参数量。一个头保留网络初始的必要信息。一个特殊的embedding设置，减少FC层的参数量。蒸馏。 第二：AirFace： 提出一个新的loss函数——Li-ArcFace，将Arcface中的余弦...
lpnet:通过线性编程构造基于树的环形网络
03-19
局域网 包裹 通过线性编程从距离矩阵构造圆形拆分网络的AR软件包。 lpnet软件包中的功能是 lpnet read.nexus.distanceblock read.nexus.taxablock 主要功能是lpnet 。 lpnet构造一个规划器网络，该规划器对距离矩阵进行循环排序，并为 [1]编写一个关系文件。首先使用不同的树构造方法（ neighbot-joining [4]，对称和非对称neighbornet tree ， UNJ [3]， BioNJ [2]） BioNJ距离neighbornet tree 。 UNJ使用线性规划（lp）更改圆订购。然后使用非负最小二乘法（nnls）计算由lp net排序组成的分割的权重。最后，返回LSfit，它是图中成对距离和矩阵成对距离之间最小二乘的平方。并编写一个带有分类单元块和splits块的nexus文件，以供查看循环网络。 函数
LPNet-PyTorch:该存储库是论文“用于低光图像增强的亮度感知金字塔网络”（TMM 2020）的PyTorch版本。
04-01
LPNet-PyTorch 该存储库是论文“用于低光图像增强的亮度感知金字塔网络”（TMM 2020）的PyTorch版本。
探索图像修复新维度：Pyramid Attention Networks for Image Restoration
gitblog_00417的博客
08-16 1045
探索图像修复新维度：Pyramid Attention Networks for Image Restoration 项目介绍 Pyramid Attention Networks for Image Restoration 是一款基于PyTorch的开源项目，由Yiqun Mei等学者开发。该项目旨在通过引入创新的Pyramid Attention（金字塔注意力）模块，改进现有的深度卷积神经网络...
论文阅读笔记——用于图像修复的多尺度特征注意力金字塔：Pyramid Attention Networks for Image Restoration
lym823556031的博客
11-09 5528
用于图像修复的多尺度特征注意力金字塔：Pyramid Attention Networks for Image Restoration 本文中作者提出了一种新的非局部金字塔注意力的通用模块用于捕获远程依赖关系，提出的注意力基于传统的non-local操作，原始搜索空间从单个特征映射扩展到多尺度特征金字塔。作者的应用方向是图像恢复算法。针对应用在图像恢复算法当中，其优势是： 它涵盖了现有的non-local操作，在金字塔的最底层特征进行了non-local操作。 在金字塔内部的不同尺度的特征的长期依赖关系被
PANet-图像复原的金字塔自注意力网络 | Pyramid Attention Networks for Image Restoration
weixin_42096202的博客
05-20 7852
应该是投向ECCV2020的文章，Non-local与多尺度特征结合的第二篇（第一篇见https://blog.youkuaiyun.com/weixin_42096202/article/details/106222582），不过本质上是不一样。第一篇论文是在不同尺度特征上分别应用Non-Local然后进行融合，比较机械化。这篇论文是在多个尺度特征上应用一个Non-Local，即挖掘索引像素点与对应多尺度特征的响应，突破了自注意力只能捕获单一尺度的特征依赖缺陷 论文地址：https://arxiv.org/pd.
Pyramid Attention Networks for Image Restoration 项目推荐
gitblog_00838的博客
12-28 526
Pyramid Attention Networks for Image Restoration 项目推荐 一、项目基础介绍及主要编程语言 Pyramid Attention Networks for Image Restoration 是由 SHI-Labs 开发的一个开源项目，旨在通过图像修复任务（如去噪、去马赛克、压缩伪影降低和超分辨率）来恢复图像质量和清晰度。该项目基于深度学习技术，使用了...
Pyramid Attention Networks for Image Restoration 项目常见问题解决方案
gitblog_00600的博客
12-21 935
Pyramid Attention Networks for Image Restoration 项目常见问题解决方案 1. 项目基础介绍和主要编程语言 Pyramid Attention Networks for Image Restoration（简称 PANet）是一个用于图像复原的开源项目。该项目基于深度学习技术，提出了一种新颖的金字塔注意力模块，能够有效利用图像中的自相似性进行图像去噪、...
《Pyramid Attention Networks for Image Restoration》阅读笔记
69小石头的博客
05-18 1580
一、论文 《Pyramid Attention Networks for Image Restoration》 摘要：自相似性是指先前在图像恢复算法中广泛使用的图像，在不同的位置和比例上往往会出现小的但相似的图案。 但是，最近的基于深度卷积神经网络的高级图像恢复方法没有依靠仅处理相同规模信息的自注意神经模块来充分利用自相似性。 为了解决这个问题，我们提出了一种新颖的金字塔注意力模块，用于图像恢复，该模块从多尺度特征金字塔中捕获远程特征对应关系。 受诸如噪声或压缩伪影之类的损坏在较粗的图像比例下急剧下降这
图像分割：LEDNet: A Lightweight Encoder-Decoder Network for Real-time Semantic Segmentation
微风❤水墨
05-21 1704
文章日期： 2019年 arXiv:https://arxiv.org/abs/1905.02423 github: https://github.com/xiaoyufenfei/LEDNet 今天看到一篇实时分割的文章，简洁明了，有较好的借鉴意义，所以记录分享一下。 创新点： 1：对残差块进行了优化，使用split和shuffle操作，参数量大幅降低，提升了前向的推理速度； 2...
A Lightweight Fusion Distillation Network for Image Deblurring and Deraining
最新发布
07-12
在图像去模糊和去雨任务中，轻量级融合蒸馏网络（Lightweight Fusion Distillation Network）是一种结合知识蒸馏与多任务学习的方法，旨在提升模型的推理效率和恢复质量。这类方法通常通过教师-学生框架设计，其中教师模型负责提供高精度特征表示，而学生模型则通过轻量化结构实现高效推理，同时借助蒸馏机制从教师模型中学习知识[^1]。 ### 网络架构设计 该类网络通常包括两个分支：教师模型和学生模型。教师模型通常是性能强大但计算复杂的深度神经网络，如ResNet或Transformer，用于提取高质量的特征表示；学生模型则是轻量化的网络结构，例如MobileNetV3或ShuffleNet，用于保证实时性和低功耗运行。两者之间通过中间层特征进行知识蒸馏，使学生模型能够模仿教师模型的特征分布。 ### 融合策略 为了有效整合来自不同任务（去模糊和去雨）的信息，该网络采用多任务学习框架。具体来说，输入图像会分别送入去模糊和去雨子任务的共享骨干网络，然后通过任务特定的解码器生成对应的输出。此外，在训练过程中，引入了注意力机制来动态调整不同任务之间的权重分配，以增强模型对关键特征的关注能力[^2]。 ### 知识蒸馏机制 知识蒸馏的核心思想是让学生模型模仿教师模型的输出分布或中间特征。在本研究中，通常采用基于特征图的蒸馏损失，即对学生模型和教师模型的中间层特征进行L2损失或余弦相似度优化。此外，部分研究还引入通道注意力模块（Channel Attention Module, CAM）来进一步提升特征对齐效果。 蒸馏损失函数可表示为： ```python def distill_loss(student_features, teacher_features): loss = torch.mean((student_features - teacher_features.detach()) ** 2) return loss ``` ### 损失函数设计 整体损失函数通常由三部分组成： 1. **重建损失**：使用L1或SSIM损失衡量图像恢复质量。 2. **感知损失**：利用预训练的VGG网络提取高层特征，提升视觉一致性。 3. **蒸馏损失**：指导学生模型学习教师模型的特征表示。 总损失函数可以表示为： ```python total_loss = λ1 * L_recon + λ2 * L_perceptual + λ3 * L_distill ``` ### 实验与评估指标 在实验阶段，通常采用合成数据集进行训练，如GoPro（用于去模糊）、Rain100H（用于去雨）。评估指标包括PSNR、SSIM、LPIPS等。实验结果表明，轻量级融合蒸馏网络在保持较低计算成本的同时，能够在多个基准数据集上取得与复杂模型相当甚至更优的性能表现[^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值