二维码提高对比度文献调研(2)--HINet: Half Instance Normalization Network for Image Restoration

最新推荐文章于 2025-03-18 21:14:52 发布
原创 最新推荐文章于 2025-03-18 21:14:52 发布 · 1.6k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

目录

简介

（1）论文名称：
HINet: Half Instance Normalization Network for Image Restoration CVPR 2021
（2）论文链接：
https://arxiv.org/abs/2105.06086
（3）源代码：
https://github.com/megvii-model/HINet

主要idea

这篇论文本文探讨了规范化在低层次视觉任务中的作用，作者提出了一种新的块:半规范化块(HIN块)，以提高图像恢复网络的性能。基于HIN块，作者设计了一个简单而强大的多级网络HINet，它由两个子网组成。通过将HIN block用于每个子网络的编码器中，提升特征的稳定性。此外，使用交叉阶段特征融合（CSFF）和监督注意力模块（SAM），用于丰富不同阶段网络之间的特征。
Network Architecture

实验简介

（1）数据集：
作者一共用了四个数据集

  • SIDD：一个图像去噪数据集，包含来自10个不同光照条件下的3万幅噪声图像
  • Gopro：用于去模糊的GoPro数据集由3214张1,280×720大小的模糊图像组成，这些图像分为2103张训练图像和1111张测试图像。
  • REDS：数据集由300个分辨率为720×1,280的视频序列组成，每个视频有100帧，其中训练集、验证集和测试集分别有240、30和30个视频。
  • Synthetic Rain Datasets：由13712张从多个数据集(Rain14000, Rain1800, Rain800, Rain12)收集的干净雨图像对组成。使用单一训练过的模型，可以在各种测试集上执行评估，包括Rain100H、Rain100L、Test100、Test2800和Test1200。

（2）预训练模型：

  • HINet-SIDD-0.5x
  • HINet-SIDD-1x
  • HINet-GoPro
  • HINet-REDS
  • HINet-Rain13k

实验结果

所遇到的问题

  • 代码中引用的scikit-image包必须是0.18版本，0.15版本会缺少相关功能且报错

运行失败信息

GPU不够

  • 本人做实验所使用的电脑显卡为1050ti，但是在运行代码的Single Image Inference(执行操作为：python basicsr/demo.py -opt options/demo/demo.yml)时会报错，显示我的内存不足。具体信息如下图所示：
    RuntimeError
    这里输入为：python basicsr/demo.py -opt options/demo/demo.yml
    使用的模型为：HINet-GoPro.pth
【图像去噪】论文精读：HINet: Half Instance Normalization Network for Image Restoration
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
10-18 721
论文题目：HINet: Half Instance Normalization Network for Image Restoration —— HINet：用于图像恢复的半实例归一化网络超越MPRNet！旷视出品，HINet！在本文中，我们探讨了实例归一化在低级视觉任务中的作用。具体来说，我们提出了一个新的块：半实例归一化块（HIN Block），以提高图像恢复网络的性能。基于HIN块，我们设计了一个简单而强大的多阶段网络HINet，它由两个子网络组成。
HINet: Half Instance Normalization Network for Image Restoration论文阅读
最新发布
yangqoor的博客
06-13 857
解决低层次视觉任务（如图像去噪、去模糊、去雨）中传统标准化方法（如Batch Normalization, BN）的局限性，提出一种高效且高性能的归一化模块——传统归一化（如BN）在低层次视觉任务中因小批量统计不稳定而失效，而。因其通道独立归一化特性（无需批量维度统计）更适用于此类任务。HIN Block创新性地仅对半数通道应用IN，避免全局归一化导致的内容丢失。“随着训练迭代增加，HIN带来的性能增益稳定存在，表明其提升模型上限而非仅加速收敛。，以提升图像恢复任务的性能。HIN有效性验证（论文图4）
读论文：HINet: Half Instance Normalization Network for Image Restoration
U R MINE
12-14 1264
第二，一个阶段的多尺度特征有助于丰富下一个阶段的特征。原因方面还是在于 low-level 比较依赖浅层信息，两级网络中的第一级输出控制在较浅的信息，然后再经过一个 U-Net 操作，效果就上来了。与resblock相比，主要差别在于：HIN对输入3*3conv处理的特征按照通道分成两部分，一部分采用IN进行规范化，另一部分无规范化，处理后的两部分沿着通道维度进行拼接。其次，在局部监督预测的帮助下，生成 attention map 抑制当前阶段信息量较少的特征，只允许有用的特征传播到下一阶段。
下雨检测图像数据集.zip
05-04
Rain12600和Rain1400是用于图像去雨。 数据描述 该数据集是使用的公开数据集Rain12600和Rain1400，其中雨天图像包含 1,000 张干净的图像。每个干净的图像用于生成 14 个具有不同条纹方向和强度的雨天图像。其中随机选择了900张图像进行训练，其余图像用于测试。
Rain1400.zip
06-30
rain1400数据集，里面包含rain图片和norain图片，用于图像去雨方向的数据集，无雨图片有100张，每张对应14张不同密度方向的有雨图片
HINet: Half Instance Normalization Network for Image Restoration
qq_44750091的博客
07-08 1871
在本文中，我们探讨了实例归一化在低级视觉任务中的作用。具体来说，我们提出了一个新颖的块：半实例归一化块（HIN 块），以提高图像恢复网络的性能。基于HINBlock，我们设计了一个简单而强大的多级网络，名为HINet，它由两个子网络组成。在HIN Block的帮助下，HINet在各种图像恢复任务上超越了最先进的技术（SOTA）。
HINet | 性能炸裂，旷视科技提出适用于low-level问题的Half Instance Normalization
聚焦底层视觉处理，对相关基础AI技术持续学习
05-18 6528
编辑：Happy 首发: AIWalker 大家好，我是Happy。 一直以来，甚少有normalization技术在low-level得到广泛应用并取得优异性能，就算得到应用其性能也会受限或者造成异常的视觉效果。 不过，现在有了！旷视科技的研究员提出了一种Half Instance Normalization技术用于图像复原并在不同的low-level领域取得了SOTA性能，先来看一下其刷新的性能(注：以下数据来自paperswithcode.com,此前最佳性能由MPRNet达成)： Image .
《PRIS: Practical robust invertible network forimage steganography》 # 图像隐写 #论文复现
m0_69339150的博客
03-18 1153
图像隐写术是一种将秘密信息隐藏在另一幅图像中的技术，使得秘密信息对人眼不可见，并且在需要时可以恢复。然而，现有的大多数图像隐写方法在容器图像受到失真（如高斯噪声和有损压缩）影响时，隐藏的鲁棒性较低。本文提出了PRIS，以提高图像隐写的鲁棒性。PRIS基于可逆神经网络，在提取过程的前后分别加入了两个增强模块，并采用三步训练策略。此外，PRIS还考虑了通常被现有方法忽略但在实际中不可避免的舍入误差，并提出了梯度近似函数（GAF）来解决舍入失真的不可微问题。
论文复现-Half Instance Normalization Network
m0_63642362的博客
08-20 901
HINet: Half Instance Normalization Network for Image Restoration
图像去雨技术代码分享
qq_34717531的博客
09-18 851
4）方法：本文专注于UHD图像去雨任务，并提出了首个大规模UHD图像去雨数据集4K-Rain13k，包含13,000对4K分辨率的图像。随着成像技术的进步，传统的图像去雨方法在处理4K或更高分辨率图像时可能不再有效。因此，本文提出了一个名为4K-Rain13k的大规模UHD图像去雨数据集，并开发了一种新的基于视觉MLP（多层感知器）的架构，称为UDR-Mixer。3）背景：现有的图像去雨方法主要针对低分辨率图像，对于超高清（UHD）图像的效果尚不明确，尤其是随着成像设备的不断进步。
MPRNet 去雨使用的测试数据集包括Rain100H，Rain100L，Test100
08-03
MPRNet 去雨使用的测试数据集包括Rain100H，Rain100L，Test100。
Rain100L测试数据集（图像去雨）
06-30
该资源为Rain100L测试数据集（图像去雨），欢迎下载使用哦！
HiNet阅读笔记
qq_45745941的博客
03-16 699
本文的半实例标准化是通过通道上面进行划分的。后面有时间再来补充这篇论文笔记。
PPgan 之 MPR_Net
weixin_53711236的博客
02-27 2707
本文代码基于PaddleGAN开发。 MPR_Net 1 简介 MPR_Net是发表在CVPR2021上的一种图像恢复方法。图像恢复任务需要在恢复图像时在空间细节和高级上下文信息之间取得复杂的平衡。MPR_Net 提出了一种新颖的协同设计，可以最佳地平衡这些竞争目标。主要提议是一个多阶段架构，逐步学习退化输入的恢复功能，从而将整个恢复过程分解为更易于管理的步骤。具体来说，该模型首先使用编码器-解码器架构学习上下文化特征，然后将它们与保留本地信息的高分辨率分支相结合。在每个阶段，MPR_Net 引入了一
【重磅开源】一文汇总顶会 SOTA 图像恢复算法，包括图像去噪、去雨、去模糊等等...
深度学习技术前沿
05-27 1652
【导读】今天给大家推荐一个很棒的开源项目，该项目主要汇总了一系列Low-Level-vision领域当前主流的SOTA算法网络结构，主要包括图像去噪，图像去雨、图像去模糊等。该项目详细介绍了各大主流Low-Level-Vison数据集（如SIDD、GoPro、REDS、Rain13K等）的下载链接和训练配置教程，每个主流的算法网络结构都配备训练和测试命令方法。小伙伴们，快...
Flare7K数据集简介与论文阅读
weixin_44504393的博客
10-20 3857
Flare7K: A Phenomenological Nighttime Flare Removal Dataset论文阅读与Flare7K数据集简介
【自动驾驶】深度学习与自动驾驶领域的数据集搜集
王博（Kings）的博客
07-13 2186
目录 KITTI数据集简介与使用 数据集名称 Kitti Oxford RobotCar Cityscape Comma.ai Udacity BDDV CARLA GTA KITTI数据集简介与使用 http://blog.youkuaiyun.com/solomon1558/article/details/70173223 数据集名称 Kitti htt...
二维码提高对比度文献调研(1)--Multi-Stage Progressive Image Restoration
utflpc的博客
07-31 1174
这里写目录标题简介主要idea实验简介实验结果模型一（Deblurring）模型二（Deraining）模型三（Denoising）实验结论 简介 （1）论文名称： Multi-Stage Progressive Image Restoration CVPR 2021 （2）论文链接： https://arxiv.org/abs/2102.02808 （3）源代码： https://github.com/swz30/MPRNet 主要idea 本篇文章在空间细节和高级上下文信息直接的平衡上提出了一个新的协同
2023图像去雨综述——单幅图像去雨数据集汇总
Arican_的博客
11-02 3289
单幅图像去雨数据集汇总及去雨综述
HiNet: Deep Image Hiding by Invertible Network
03-12
### HiNet：基于可逆网络的深度图像隐藏研究与实现 #### 背景介绍 HiNet 是一种用于图像隐藏的新方法，旨在解决传统图像隐写术中的容量有限、安全性不足以及可见度高的问题。该模型利用了可逆网络的独特性质来构建一个高效的图像隐藏框架[^1]。 #### 技术原理 在 HiNet 中，图像隐藏被设计成一个双向的过程——即前向传播负责将秘密消息嵌入到载体图片中形成含密图；而反向传播则用来从含密图里提取原始的秘密信息并重建载体图片。由于这两个操作共用了同一套权重参数，在完成一次完整的训练之后便能够同时得到两个功能完备的部分[^2]。 为了增强系统的鲁棒性和隐蔽效果，研究人员引入了一个特别定制的小波变换域上的损失函数—低频小波损失算法。这一创新使得即使面对各种攻击手段（如裁剪、压缩），所携带的信息依然可以保持较高的准确性[^3]。 #### 实验验证 实验结果显示，相比于其他同类方案，采用 HiNet 进行数据传输不仅拥有更大的有效载荷能力而且还能更好地保护隐私不被轻易察觉。此外，开源项目提供了详细的代码示例供开发者学习参考[^4]。 ```python import torch.nn as nn class HiNet(nn.Module): def __init__(self, num_channels=3): super(HiNet, self).__init__() # 定义编码器部分 self.encoder = Encoder(num_channels=num_channels) # 定义解码器部分 self.decoder = Decoder(num_channels=num_channels) def forward(self, cover_image, secret_message=None): if self.training: stego_image = self.encoder(cover_image, secret_message) recovered_secret = self.decoder(stego_image) return stego_image, recovered_secret else: recovered_secret = self.decoder(cover_image) return recovered_secret ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值