[论文笔记] Deep image prior

最新推荐文章于 2025-06-23 10:21:06 发布
原创 最新推荐文章于 2025-06-23 10:21:06 发布 · 8.6k 阅读 · 43 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了CNN在图像生成和复原中的作用，指出CNN的结构而非学习能力是其效果的关键。论文提出了使用CNN结构作为图像先验，替代传统图像复原中的手动设计正则项。通过优化网络参数，不依赖大量训练数据，能够从退化图像中恢复自然图像。这种方法在去噪、超分辨率和图像修复等方面表现出色，尤其适用于缺乏训练数据或难以建模退化过程的场景。然而，它对参数调优和计算量的要求较高。

Deep image prior阅读笔记

论文：《 Deep image prior 》
项目主页：https://dmitryulyanov.github.io/deep_image_prior

1. Introduction（介绍）

  • CNN在图像生成和图像复原任务中应用广泛，效果好
  • 有种解释是因为CNN能从大量数据中学到真实图像的先验知识，强调的是大量数据和学习能力，但是这种解释并不充分
  • 作者认为网络的泛化能力要求网络结构应该契合数据结构
  • 与普通解释中将CNN的效果归结于学习能力不同，本文表明大量的图像先验知识是由卷积网络的结构获取的，而不是通过大量数据的学习！

##2. 方法

在传统的图像复原方法中，常常是一个附加正则项的优化问题，目标函数如下：
这里写图片描述

其中，E(x;x0)是与任务无关的数据项，比如MSE等，描述生成（或复原）图像与目标图像的差距，R(x)是正则项，是根据图像先验知识对解空间的约束。这些图像先验一般人为设计（hand-crafted），比如图像梯度重尾分布，total variation等。本文则提出使用卷积网络结构替换具有先验知识的正则项R(x),公式如下：

最低0.47元/天 解锁文章

新学期VIP享超值加赠
【图像去噪】论文精读：Deep Image Prior（DIP）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
11-27 826
论文题目：Deep Image Prior —— 深度图像先验CVPR 2018！大名鼎鼎的DIP！深度卷积网络已成为图像生成和恢复的流行工具。通常，它们的性能被归因于它们从大量示例图像中学习真实图像先验的能力。在本文中，我们表明，相反，生成器网络的结构足以在任何学习之前捕获大量低级图像统计信息。为此，我们表明随机初始化的神经网络可以用作手工制作的先验，并在去噪、超分辨率和修复等标准逆问题中具有出色的结果。此外，相同的先验可用于反转深度神经表示来诊断它们，并根据闪存-无闪存输入对恢复图像。
论文阅读笔记（RethinkDIP):Rethinking Deep Image Prior for Denoising
weixin_46970793的博客
12-30 1553
Rethinking Deep Image Prior for Denoising 论文地址：https://arxiv.org/abs/2108.12841 代码地址：GitHub - gistvision/DIP-denosing: Code and models for “Rethinking Deep Image Prior for Denoising” (ICCV 2021) 引用格式： @inproceedings{jo2021rethinking, title={Rethinking De
论文阅读笔记（DIP）：Deep Image Prior
weixin_46970793的博客
12-30 4335
Deep Image Prior 网站：Deep Image Prior (dmitryulyanov.github.io) 引用： @InProceedings{Ulyanov_2018_CVPR, author = {Ulyanov, Dmitry and Vedaldi, Andrea and Lempitsky, Victor}, title = {Deep Image Prior}, booktitle = {Proceedings of the IEEE Conference on Comput
Deep Image Prior
Cyiano的博客
04-17 8355
Deep Image Prior 摘要 深度卷积网络已经成为图像生成和重建的常用工具。人们猜想，他们优秀的表现是归功于他们能够从大量图像样本中学习到真实图像先验的能力。而相反，本文中作者展示生成网络在经过任何学习之前就能够捕获大量的低级图像统计信息，也就是说，这些信息可能并不是通过大量的数据集学习得来。文中具体的实验方法，就是用一个随机初始化的生成网络，仅通过给定的图像就能得到重建后的图像...
四、深度图像先验（Deep Image Prior）
最新发布
qq_41033011的博客
06-23 1089
图片先验” 就像是我们在看图或者画图时，脑子里自带的一些 “常识”。比如，给你一张非常模糊的人脸照片（左图），让你把它画得更清楚些。你怎么画呢？你知道人脸大概有两只眼睛、一个鼻子、一张嘴。你知道眼睛通常在脸的上半部分，鼻子在中间，嘴巴在下边。你知道头发长在头顶上，耳朵在两边。这些你脑子里本来就有的、关于人脸长啥样的知识，就是你的 “人脸先验知识”。所以，“图片先验” 就是这种我们事先知道的、关于 “正常图片应该是什么样” 的普遍规律和常识。
DeepImagePrior:Keras实现的“深层图像先验”
05-01
超分辨率 您可以按以下方式运行超分辨率代码。 python super_resolution.py <LR> <SR> 这是结果的一个例子。 从左到右，LR，双三次和提出的方法。 去噪 您可以按以下方式运行去噪代码。 python denoising.py <noisy> <denoised> 这是结果的一个例子。 噪点图像和去噪图像。 补漆 您可以按以下方式运行修复代码。 python inpainting.py <masked> <mask> <inpainted> 这是结果的一个例子。 遮罩的图像和修复的图像。
Deep Image Prior (Paper reading)
qq_43800752的博客
12-16 1224
深度卷积神经网络可以从大量的图像中学习到真实图像先验的能力。先验是我们对世界的基本假设。例如，我们假设一枚硬币抛出50%正面和50%反面，这是我们的先验。这种先验并不总是正确的，但大多数时候是正确的。同样，我们假设自然图像是无噪声和无孔洞的，这也是我们的先验。因此，本文提出了一种用于去噪和修复应用的深度图像先验思想。该论文反驳了监督学习对于建立良好的图像先验是必要的这一观点。它们表明，生成器网络的结构就可以在不需要学习就能捕获大量low-level图像统计信息。本文展示了一个随机初始化的神经网络。
超分辨率分析（四）--Deep Image Prior
工作笔记
03-06 4575
转自：https://zhuanlan.zhihu.com/p/34504284略删减，我怎么感觉这篇文章作者都没理解网络学习这个事情的本质。 本文中作者展示生成网络在经过任何学习之前就能够捕获大量的低级图像统计信息，也就是说，这些信息可能并不是通过大量的数据集学习得来。文中具体的实验方法，就是用一个随机初始化的生成网络，仅通过给定的图像就能得到重建后的图像，这种方法在去噪、超分辨、修补等人物...
[论文阅读] Deep Image Prior
guyii54的博客
12-08 794
动机 这篇文章说明了一个很有意思的观点，即：网络对自然图像有天然的低阻抗，对不规则噪声等具有天然的高阻抗。而网络的这一特性与网络参数，或者说学习，是无关的。 我们平常认为的网络学习是两部分构成，一部分是网络的结构，参数随机的网络结构本身就能够作为较强大的先验提取器，有能力从中提取出图像信息，而过滤掉噪声信息。另一部分则是通过对数据进行学习，即对网络参数权重进行优化，从而让这一先验变得更强大。作者的工作主要讨论了第一部分，网络本身结构就可以作为强大的先验提取器（而无需训练），提取有用信息，过滤噪声信息。作
Deep Image Prior 阅读笔记
qq_44378175的博客
06-01 769
wxy’s Deep Image Prior 阅读笔记 时间：6.1-6. 【收获】 6.1： 稍微看了一点DL的基础，大概就是多层次的特征描述构建了一个模型，DL是试图用机器来构建这个模型，ML是机器在这个模型上学习，然后产生某些概念的理解或者学习做某类事情？可能理解得不太对，等待日后再修正。 深度卷积网络就像一个函数f，然后输入随机编码z，希望输出x，所以训练参数，训练很久之后可以实现输出一模一样的x，如果在一般时间打断它，那么输出的就是感觉修复过一点的图像。想到了以前自己想把一张图片的水印去掉，选择把
Deep Image Prior.pdf
09-02
关于Deep Image Prior的论文，适合初学者对Deep Image Prior的认识和了解
Python-deepimageprior利用神经网络来修复图像
08-11
deep-image-prior，利用神经网络来修复图像
Deep image prior
Black Mamba的博客
03-29 793
paper:http://openaccess.thecvf.com/content_cvpr_2018/papers/Ulyanov_Deep_Image_Prior_CVPR_2018_paper.pdf github:https://github.com/DmitryUlyanov/deep-image-prior material:https://box.skoltech.ru/ind...
deep image prior (cvpr 2018)
春秋战车
08-07 849
deep image prior (cvpr 2018) 1 结论：因为网络参数具有高噪声阻抗和低信号阻抗性，相当于给网络w加了一个约束。此时信号收敛的更快，而噪声收敛的较慢，使得前期输出的图像主要是信号相关信息。 2 为什么网络参数具有高噪声阻抗和低信号阻抗性？ 2.1实践出真理： 论文考虑最基本的重建问题: 构建网络，输入为固定分布的的随机编码，GT为X，而X为如下四种： 一张自然图像A，自然图像A+噪声，被随机破坏的自然图像A，白噪声 实验发现，当X为自然图像和加了噪声的自然图像.
论文笔记 [1] Deep Image Prior
VisualCortex
12-07 6533
论文笔记 [1] Deep Image Prior
[论文翻译]Deep Image Prior
Javier.Lin_HUST的博客
09-21 1608
深度卷积网络已经成为图像生成和恢复的热门工具。一般来说，它们优异的性能归因于它们能够从大量的示例图像中学习到逼真的图像先验。在本文中，我们表明，相反，生成器网络的结构足以在任何学习之前捕获大量的低级图像统计。为了做到这一点，我们表明随机初始化的神经网络可以作为一种人工先验，在去噪、超分辨率和修复等标准逆问题中具有优异的结果。此外，相同的先验可以用来反演深层神经表征来诊断它们，并基于闪光-无闪光输入对恢复图像除了其多样化的应用外，我们的方法还强调了标准生成器网络架构所捕获的感性偏差。
Deep Image Prior摘要
wanchaochaochao的博客
07-16 2390
  DCNN已经成为图片生成及复原的流行工具，其出色的能力被认为是来自于能够从大量的实际图片数据中学习到一个很好的先验。而在本文中，作者表明仅仅是CNN所组成的生成网络结构，就已经能够很好的捕获图片的低级统计特征。一个随机初始化的网络可以作为一种手工设计的先验，并能很好的用于去噪、超分辨率、图片修复任务。   当然作者也从《Understanding deepearning requires r...
deep image prior
03-21
### Deep Image Prior 技术概述 Deep Image Prior 是一种利用神经网络结构本身作为正则化先验的方法，用于图像恢复任务。这种方法的核心思想在于通过训练一个随机初始化的卷积神经网络来拟合目标图像，而不需要额外的数据集或预训练模型[^3]。 #### 工作原理 Deep Image Prior 的核心机制依赖于这样一个观察：即使是在完全随机初始化的情况下，深层神经网络也能够隐含地表达复杂的图像结构特性。具体来说，在优化过程中，仅通过对输入噪声向量的学习即可重建高质量的目标图像。这种现象表明，神经网络架构本身就具有强大的归纳偏置能力，可以充当有效的图像先验。 以下是其实现的关键步骤： 1. **定义生成器网络** 使用一个标准的全连接层或者卷积神经网络作为生成器 \( G \)，该网络接受随机噪声向量 \( z \) 作为输入，并输出一张合成图像 \( I_{synthetic} \)[^4]。 2. **损失函数设计** 定义一个适合特定任务的损失函数 \( L(I_{synthetic}, I_{target}) \)，其中 \( I_{target} \) 表示目标图像。常见的损失形式包括像素级均方误差 (MSE) 或感知损失 (Perceptual Loss)[^5]。 3. **参数更新策略** 只有生成器中的权重被调整，而不涉及任何外部数据驱动的过程。这使得整个算法能够在单张图片上运行并快速收敛到合理的结果[^6]。 #### 实现代码示例 下面提供了一个简单的 PyTorch 版本实现框架供参考: ```python import torch from torchvision import transforms from PIL import Image class Generator(torch.nn.Module): def __init__(self): super(Generator, self).__init__() # Define your generator architecture here. def forward(self, x): pass # Implement the forward propagation logic. def deep_image_prior(target_img_path, num_iterations=5000): device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') transform = transforms.Compose([ transforms.ToTensor(), ]) target_img = Image.open(target_img_path).convert("RGB") target_tensor = transform(target_img).unsqueeze(0).to(device) gen_input = torch.randn((1, latent_dim, height, width)).to(device) model = Generator().to(device) optimizer = torch.optim.Adam(model.parameters(), lr=0.01) for i in range(num_iterations): synthetic_output = model(gen_input) loss = ((synthetic_output - target_tensor)**2).mean() optimizer.zero_grad() loss.backward() optimizer.step() if i % 500 == 0: print(f"Iteration {i}: Loss={loss.item()}") if __name__ == "__main__": deep_image_prior("./path_to_target_image.jpg", num_iterations=5000) ``` 上述代码片段展示了如何构建基本的生成器以及执行迭代优化过程以匹配给定的目标图像。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值