Wide Activation for Efficient and Accurate Image Super-Resolution文章解读

WDSR:Wide Activation for Efficient and Accurate Image Super-Resolution Wide Activation for Efficient and Accurate Image Super-Resolution Jiahui Yu,Yuchen Fan,Jianchao Yang,Ning Xu,Zhaowen Wang,Xinchao Wang,Thomas Huang 本文是NTRIE2018年超分辨率比赛的冠军。 主要贡献 论文提出在激活函数前with expa... 阅读详情

Wide Activation for Efficient and Accurate Image Super-Resolution

文章地址:https://arxiv.org/abs/1808.08718v1

论文代码:https://github.com/JiahuiYu/wdsr_ntire2018

 

        最近才看到这篇文章,我认为里面有好多东西还是很不错的,至少文中不是单纯的网络结构的堆叠。我会适当记录这篇文章提出的观点,这些观点对之后设计网络有借鉴的意义。

       Instead of adding various shortcut connections, we conjecture that the non-linear ReLUs impede information flow from shallow layers to deeper ones.(作者推测非线性ReLU激活函数阻碍了信息从浅层流动至深层,而不是增加各种便捷的跳跃链接。)

        在残差超分辨率网络基础上,作者展示了在不增加额外的参数和计算的情况下,在ReLU激活函数之前简单地增加特征图的数量能够显著地提升超分辨率重建的结果。胜过了使用复杂的跳跃连接和串联的超分辨率任务,包括SRDenseNet和MemNet。

        上图是原始的残差块结构,下图是文章给出的结构

 

        左边的是带有较宽激活函数的残差块,右边的是带有较宽激活函数和线性低秩卷积的残差块。

 

提出的工作

Wide Activation: WDSR-A

       在没有增加计算的情况下,主要讨论的是在ReLU激活函数的之前增加特征图的数量。在残差块的前提下,考虑更宽激活函数的效用。很自然的方式就是将特征图的通道数增加。然而,它只能证明更多的参数可以带来更好的性能。因此,在本节中,我们设计我们的SR网络来研究在使用相同参数和计算预算激活之前宽激活函数的重要性。我们实现宽激活函数的第一步非常简单。我们对残差主线映射的特征图进行了压缩,同时在输入激活函数前对残差特征进行了扩展。

       根据EDSR,专门研究了两层残差块。假设残差连接宽度为w_{1},残差块内激活前宽度为w_{2}。在激活函数前引入扩张因子r,则w_{2}=w_{1}\times r。在普通残差网络中,w_{1}=w_{2},每个残差块的参数个数为2\times w_{1}^{2}\times k^{2}。当我们确定输入图像块的大小时,计算复杂度是参数数量的常数倍。为了保持相同的计算复杂度w_{1}^{2}=\hat{w_{1}}\times \hat{w_{2}}=r\times \hat{w_{1}}^{2},残差通路需要作为因子\sqrt{r}进行压缩,同时激活函数部分需要作为因子\sqrt{r}进行扩张。

       这个简单的想法形成了我们第一个宽激活的SR网络WDSR-A。实验表明,当r在2 ~ 4之间时,WDSR-A对提高SISR的精度非常有效。然而,对于大于此阈值的r,性能会迅速下降。这可能是由于残差路径的通道变得太窄。例如,在我们的基准EDSR×3超分辨率中,当r大于6时,w_{1}将比最终的HR图像表示空间S^{2}*3更小,其中S是缩放因子,3表示RGB通道。

       因此,我们寻求参数有效卷积,以进一步提高精度和效率与更广泛的激活。因此,我们寻求参数有效卷积,以进一步提高宽激活函数的精度和效率。

Efficient Wide Activation: WDSR-B

       为了解决上述局限性,我们保持了残差通路的通道数不变,并探索了更有效的扩展特征的方法。我们特别考虑1×1的卷积。1×1卷积广泛用于ResNets、ResNeXts和MobileNetV2中信道数的扩展或减少。在WDSR-B中,我们首先使用1×1来扩展通道数,然后在卷积层之后应用非线性(ReLUs)。进一步提出了一种有效的线性低秩卷积算法,该算法将一个大的卷积核分解为两个低秩卷积核。它是一个由一个1×1卷积组成的堆栈,用来减少通道数量,一个3×3卷积用来进行空间方向的特征提取。我们发现在线性低秩卷积中加入ReLU激活显著降低了精度,这也支持了宽激活函数的假说。

Weight Normalization vs. Batch Normalization

       在这一部分中,我们主要分析了批量归一化(BN)和权重归一化(WN)的不同目的和效果。我们提供了三个直观的理由,说明为什么批量归一化不适用于图像SR任务。然后证明了权值归一化不存在BN有的缺点,并且可以有效地缓解深度SR网络的训练难度。

网络结构

        在EDSR上进行两个主要的修改,就变成了本文的网络模型。

全局残差:

       首先,作者发现全局残差路径是由多个卷积层组成的线性堆栈,计算量较大。 作者认为这些线性卷积是冗余的(图2),在一定程度上可以被吸收到残差块中。 因此,我们稍微修改网络结构,使用核大小为5×5的单层卷积层,直接以3×H×W LR RGB图像/patch为输入输出对应的3S^{2}\times H\times W的HR,其中S为尺度。 这减少了参数和计算量。 在我们的实验中,我们没有发现任何精度下降与我们的简单形式。

上采样层:

       不同于以往的技术,在上采样后插入一个或多个卷积层。我们提出的WDSR在低分辨率阶段提取所有特征。实验表明,该方法在提高速度的同时,对SR网络的精度没有影响。

PAISR:Rapid and Accurate Image Super Resolution 详解(内附代码code) hi,这绝对是一篇想搞事情的论文,本宝对这篇文章也没有弄得很透彻,甚至在某些小块上卡住了,但是还是有些干货想跟小伙伴们分享,顺便一起探讨一些问题。 在github:https://github.com/HerrHao/RAISR上有研友写了部分代码,并没有完全实现论文,虽然效果也不怎样理想,但是使用滤波器的方法代替字典速度提高了好多。不多说了,下面是论文的框架 主要分为以几个部分: 阅读详情

相关推荐

Accurate Image Super-Resolution Using Very Deep Convolutional Networks

Accurate Image Super-Resolution Using Very Deep Convolutional Networks 摘要   我们提出了一种高精度的单图像超分辨率(SR)方法。我们的方法使用了一个非常深的卷积网络,灵感来自于用于ImageNet分类的VGG网络。我们发现网络深度的增加可以使得精度的显著提高。 我们的最终模型使用20层。通过在深层网络结构中多次级联

weinidakaishijian的博客 4826

Wide Activation for Efficient and Accurate Image Super-Resolution(WDSR)

摘要   在本文中我们论证了,针对单图像超分辨率(SISR),在相同参数和计算量下,在ReLU激活之前具有更宽的特征的模型明显有更好的效果。得到的SR残差网络在每个残差block中激活函数前有一个轻便等价但更宽路径(1x到4x)映射路径。为了在不增加计算开销的下进一步扩大激活(6x到9x),我们引入线性低秩卷积到SR网络中,获得了更好的精度-效率的平衡。此外,我们发现对于深的SR网络用归一化权...

zhangwl27的专栏 2584

ECCV2018超分辨率MSRN:Multi-scale Residual Network for Image Super-Resolution

这篇文章主要创新点是:使用多尺度残差块充分提取图片特征 问题 (1)目前的研究倾向于使用更深层次的卷积神经网络来提高性能。但是随着网络深度的增加,训练过程中出现的问题越来越多,需要更多的训练技巧。导致很多方法难以复现; (2)特征利用不足,随着网络深度的增加,特征在传输过程中逐渐消失。如何充分利用这些特征,是网络重建高质量图像的关键; (3)可扩展性差; 贡献 提出了一种新的多尺度残差网络(MSR...

qq_41332469的博客 6164

论文阅读笔记六十六:Wide Activation for Efficient and Accurate Image Super-Resolution(CVPR2018)...

论文原址:https://arxiv.org/abs/1808.08718 代码:https://github.com/JiahuiYu/wdsr_ntire2018 摘要 本文证明在SISR中在ReLU之前特征图越宽,在有效的计算资源及内存条件下,模型的性能越好。本文提出的残差网络具有平滑的identity mapping pathway,在激活层之前,每个bloc...

weixin_33798152的博客 406

【图像超分】论文复现:Pytorch实现WDSR!保姆级复现教程!代码注释详尽!完整代码和x2、x3、x4下的最优模型权重文件可以直接用!绘制论文曲线图!计算主流测试集的平均PSNR和SSIM!

论文题目:Wide Activation for Efficient and Accurate Image Super-Resolution —— 高效、准确的图像超分辨率的广泛激活【图像超分】论文精读:Wide Activation for Efficient and Accurate Image Super-Resolution(WDSR)请配合上述论文精读文章使用,效果更佳!

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 2965

【图像超分】论文精读:Wide Activation for Efficient and Accurate Image Super-Resolution(WDSR)

在本文中,我们证明了在相同的参数和计算预算下,ReLU激活前具有更广泛特征的模型对于单图像超分辨率 (SISR) 具有显着更好的性能。生成的 SR 残差网络在每个残差块的激活之前具有更宽的 (2× 到 4 倍) 通道的小恒等映射路径。为了在不增加计算开销的情况下进一步扩大激活(6×到9×),我们在SR网络中引入线性低秩卷积,实现了更好的精度-效率权衡。此外,与批量归一化或没有归一化相比,我们发现使用权重归一化进行训练可以提高深度超分辨率网络的准确性。我们提出的SR网络WDSR在计算复杂度相同或更低的PSNR

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 6564

【文章阅读】【超解像】-- Wide Activation for Efficient and Accurate Image Super-Resolution

【文章阅读】【超解像】-- Wide Activation for Efficient and Accurate Image Super-Resolution 论文链接:https://arxiv.org/abs/1808.08718v1 code:https://github.com/JiahuiYu/wdsr_ntire2018 本提出的网络结构在NTIRE2018比赛中SISR中获得了3个第...

happyday_d的博客 1285

wdsr 论文阅读笔记

所以,作者提出了线性低秩卷积,这是将一个大的卷积核分解为两个低秩的卷积核。为了,解决这个问题,提出了SRDenseNet,RDN,MemNet,这些方法主要是引入了各种跳跃连接、浅层特征和深层特征之间的级联操作。摘要这篇论文作者证明了同样的参数和计算量,在激活函数之前有更多的特征图模型的性能就越好。基于残差结构,作者证明了在激活函数之前简单的扩展特征图的数量模型的性能得到巨大的提升。当网络的深度特别深的时候,比如说MDSR的深度达到了180层,没有BN的训练十分困难。神经网络的深度是非常重要的。...

qq_40107571的博客 446

深度学习之超分辨率重建技术(Super-Resolution)总结:从 SRCNN 到 WDSR

专栏【超分辨率】 目录1、前言2、网络详解2.1、SRCNN :)2.2、VDSR :)2.3、DRCN :)2.4、ESPCN :)2.5、SRGAN :)2.6、EDSR :)2.7、DBPN :)2.8、WDSR :)3、参考论文4、未来计划 1、前言 超分辨率重建技术(Super-Resolution)是指从观测到的低质量、低分辨率图像重建出相应的高质量、高分辨率图像。 Super-Res...

种树最好的时间是10年前,其次是现在!!! 1万+

WDSR-Wide Activation for Efficient and Accurate Image Super-Resolution 论文代码

WDSR,Wide Activation for Efficient and Accurate Image Super-Resolution论文代码,pytorch实现,欢迎各位下载!

测试dali协议的软件,DALI2.0和DALI1.0完美兼容同一个模块,测试每项可过协议

DALI2.0和DALI1.0完美兼容同一个模块,测试每项可过协议深圳聚积智能 夏先生 13246760327 QQ 349098308■IEC62386-102(V2.0)通过测试内容IEC62386-102/2.1/Test preambleIEC62386-102/3.1/Polarity testIEC62386-102/3.2/Maximum and minimum system v...

weixin_35343788的博客 1352

Accurate Image Super-Resolution Using Very Deep Convolutional Networks论文分析

Accurate Image Super-Resolution Using Very Deep Convolutional Networks论文地址简介模型图 论文地址 简介 模型图 1 指出论文中需要解决的问题 SISR, 介绍传统的方法和目前使用较多的方法,简单分析了SRCNN的优势(和其他方法的比较),同时指出SRCNN的不足指出(三点:first, it relies on the con...

TonyHsuM的博客 836

2026最新 OpenClaw 手机端部署与实战:旧手机秒变 AI 智能终端(Android/iOS 双平台全覆盖)

OpenClaw 是2026年 GitHub 爆火的开源自托管 AI 执行网关,前身是 Clawdbot / Moltbot,主打“一句话让 AI 帮你完成真实操作”,核心能力包括发消息、整理文件、控制设备、自动化任务等,区别于普通对话式 AI,它能将 AI 指令转化为实际行动。无需高配置设备,无需专业技术,旧手机就能变身随身 AI 助手,既能实现自动化办公、生活便捷,又能保障数据隐私,还能体验极客玩法,这正是开源技术的魅力。# 初始化配置(按提示操作,配置 AI 模型 API Key)

wohaiweifaju的博客 5651

【论文阅读】Accurate Image Super-Resolution Using Very Deep Convolutional Networks

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33786077的博客 290

AI赋能传染病建模:从数据到动力学模型的本地实践指南

这次我们来看一个将 AI 与传染病动力学建模结合的前沿方向。想象一下,你手头有一份流感爆发的病例数据,传统的建模方法可能需要复杂的微分方程和大量的手动调参,而 AI 模型能否直接从数据中“学习”出传播规律,甚至自动跑通整个建模流程?这正是当前研究的热点。根据《Nature》的最新综述,人工智能正在重塑传染病流行病学建模,从参数推断、趋势预测到多源数据融合,AI 技术为解决传统建模中的计算瓶颈和数据难题提供了全新路径。 对于开发者、数据科学家或公共卫生领域的研究者而言,最关心的是:这套方法能不能在本地跑起来?

weixin_29051811的博客 300

Qwen2.5-7B大模型实战:从零部署到高效推理全流程解析

本文详细解析了Qwen2.5-7B大模型从零部署到高效推理的全流程。内容涵盖环境准备、模型下载、使用Transformers进行核心对话推理,并深入介绍了vLLM与TGI生产级服务部署、GPTQ/AWQ量化技术以降低显存消耗,以及llama.cpp、Ollama等本地推理方案。旨在帮助开发者快速掌握部署技巧,实现大模型在消费级硬件上的高效运行。

weixin_29061425的博客 491

Deep Neural Network for Fast and Accurate Single Image Super-Resolution via Channel-Attention-based

本文提出现行超分网络中存在大量参数,运算复杂,为了解决这些问题,本文提出了将一维卷积与二维卷积联合起来使用以定向提取特征,并减少参数。 该网络的总体架构较为简单,将低分辨率图片输入后经过33的卷积提取浅层特征后,输入到OAM块中进一步提取定向特征,通过全局注意力机制,最后通过两个33卷积降维hou,亚像素到高分辨率图片。 此网络的创新点主要在于oam中的利用1维卷积进行定向采样,从而更充分的提取...

qq_34049103的博客 404

RK3568平台(KBuild篇)KBuild编译体系

从Linux内核2.6开始,Linux内核的编译采用Kbuild系统,这和过去的编译系统有很大的不同,尤其对于Linux内核模块的编译。在新的系统下,Linux编译系统会两次扫描Linux的Makefile:首先编译系统会读取Linux内核顶层的Makefile,然后根据读到的内容第二次读取Kbuild的Makefile来编译Linux内核。kbuild,即 kernel build,用于编译 Linux 内核文件。

weixin_49303682的博客 349

图像超分辨率SR的背景概念性知识总结和几篇重要论文介绍

本文介绍了做深度学习图像超分辨率SR任务应先掌握的基本概念性知识,然后介绍了SR任务应该向那几个方面着手,希望对SR能有一个清晰的认识,更方便更有目的性的开展SR任务。 主要依据NTIER2018比赛的论文进行介绍。 文中有许多概念或模糊,或啰嗦,或有错误,烦请指正,留言多交流。 文章目录SR定义NTIRESR任务的概念性知识基于深度学习SR网络的构建1. 特征提取2. 特征非线性映射VDSREDSRWDSR3. SR重建参考资料 SR定义 超分辨率SR的定义:将低分辨率的图像通过算法转换成高分辨率图

ytao_wang的博客 1万+

出现 Error:Unable to access jarfile xxxx\target\nacos-server.jar 解决方法

Nacos中的 2.x执行步骤如上,如果需要安装下载1.x版本,执行该步骤之后 自动更新下载的是2.x版本 对此如果需要下载安装1.x的版本,可通过如下连接(windows版本)

码农研究僧的博客 5700

LeRobot 入门教程(十四)Meta-World 机器人多任务与元强化学习操作仿真基准平台

Meta-World是一个开源机器人操作模拟基准平台,专注于多任务与元强化学习研究。该平台提供50项多样化任务(MT50套件),采用标准化评估协议测试算法泛化能力。LeRobot平台支持Meta-World任务评估,提供预处理数据集和训练工具。用户可通过命令行快速训练SmolVLA策略,并评估模型在简单、中等、困难等不同难度任务上的表现。文章还提供了兼容性问题和实用技巧建议,如使用完整MT50任务集测试泛化能力、采用one-hot任务条件化等。这些资源为研究人员开展机器人多任务学习提供了标准化实验环境。

2506_90492529的博客 1023

Enhanced Deep Residual Networks for Single Image Super-Resolution(EDSR)

摘要 近年来,随着深度卷积神经网络(DCNN)的发展,SR的研究也取得了进展。尤其是,残差学习技术展现出更好的效果。在本文中,我们开发了一个增强深度SR网络(EDSR),效果超过了那些目前最好的SR方法。我们通过移除传统残差网络中不必要的模块来优化,使得我们的模型性能显著提升。通过扩大模型大小来进一步提升效果,同时保持训练流程稳定。我们也提出了一种新的多尺度深度SR 系统(MDSR)和训练方法,...

zhangwl27的专栏 3166

Wi-Fi QoS中AIFSN/CWmin/CWmax/TxOP参数是怎样计算的?

802.11e/WMM的EDCA机制通过AIFS、CWmin/CWmax和TxOP三组参数实现业务优先级控制。AIFS决定最短等待时间(AIFS=SIFS+AIFSN×SlotTime),CWmin/CWmax定义退避范围(2^ECW-1),TxOP设置最大占用时长(32µs单位)。默认配置中,语音业务(VO)优先级最高,其AIFSN最小(2)、CW范围最小(3-7)、TxOP适中(1.504ms);视频(VI)次之;普通数据(BE)和后台(BK)优先级最低。调优需根据网络特性调整参数:VoIP可降低AIF

1042484520@qq.com(邮箱) 1749

super resolution 论文阅读简略笔记(个人,不持续)

从deep learning开始后开始看的。具体实验细节没看。写的比较简略,只buchix是为了过段时间忘记论文内容的时候还可以翻下。。。 1. Image Super-Resolution Using Deep Convolutional Networks 以往都是采用传统方法进行super resolution。这篇论文提出SRCNN,第一次用deep learning解...

Zealoe的博客 8001

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

论文阅读:CVPR2016 Paper list

CVPR2016 accepted paper list

一亩半分地 8万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

深度学习应用到图像超分辨率重建3

多看论文,紧跟时代步伐。 我们在之前两篇博客,深度学习应用到图像超分辨率重建1, 深度学习应用到图像超分辨率重建2已经介绍了一些图像超分辨的基础了, 下面我们继续分享一些最新的一些论文。论文暂时还没有阅读,只是先列一个提纲,后续会简单介绍的。 1. CrossNet: An End-to-end Reference-based Super Resolution Network using C...

暮日落流年的博客 2681

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

上一篇: python中导入模块的三种形式
下一篇: SROBB: 使用使用目标感知损失函数实现图像超分辨率重建
breezero
博客等级 码龄9年 17粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值