PromptIR：一键式盲图像修复的提示学习方法

最新推荐文章于 2025-06-22 16:30:41 发布
最新推荐文章于 2025-06-22 16:30:41 发布
阅读量710 收藏 4
点赞数 3
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gitblog_00090/article/details/139208256

PromptIR：一键式盲图像修复的提示学习方法

PromptIR PromptIR: Prompting for All-in-One Blind Image Restoration [NeurIPS 2023] 项目地址: https://gitcode.com/gh_mirrors/pr/PromptIR

项目简介

PromptIR是一个创新的开源项目，首次提出了基于提示（Prompting）的学习方法，用于全合一的图像修复任务。在深度学习已经显著提升图像恢复性能的同时，PromptIR解决了传统方法对特定降质类型和程度依赖的问题，实现了一种通用且高效的插件模块，能够在无需预知输入失真信息的情况下处理多种类型的图像修复。

项目技术分析

PromptIR的核心是利用提示来编码与降质相关的信息，这些信息动态引导修复网络进行操作。这种方法允许模型在不牺牲性能的前提下，对噪声、雨滴和雾霾等多种不同类型和级别的图像损伤进行有效恢复。其网络架构设计巧妙，结合了强大的Transformer结构，通过轻量级的提示引导修复过程，实现了跨任务的一致性。

应用场景

PromptIR的应用场景广泛，适用于任何需要图像修复的领域。无论是摄影爱好者希望去除照片中的噪点或雨滴，还是遥感图像处理中对大气散射的消除，或是数字文化遗产保护中对老照片的修复，PromptIR都能提供卓越的效果。此外，它还可在实时视频流处理和监控系统中发挥作用，实时恢复因环境因素导致质量下降的画面。

项目特点

  1. 通用性 - 无需针对每一种特定降质训练单独模型，一个模型即可应对多类型和级别的图像修复。
  2. 高效性 - 使用少量轻量级提示作为插件，降低了计算复杂度，提高了处理速度。
  3. 出色的性能 - 在多个基准数据集上达到state-of-the-art的恢复效果。
  4. 简单易用 - 提供详细的安装指南和测试代码，方便研究者和开发者快速上手和扩展应用。

为了进一步了解PromptIR，您可以下载项目源码并按照提供的README.md文件进行安装和测试。对于学术研究或者实际应用的贡献者，请务必引用项目作者的相关论文。如果你有任何问题，可以直接联系项目负责人。

总之，PromptIR为图像修复带来了全新的解决方案，通过提示学习打破了传统的局限性，是值得所有关注图像处理和机器学习社区成员探索和使用的强大工具。现在就开始尝试，让PromptIR帮助你的图像恢复工作更上一层楼吧！

PromptIR PromptIR: Prompting for All-in-One Blind Image Restoration [NeurIPS 2023] 项目地址: https://gitcode.com/gh_mirrors/pr/PromptIR

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

【图像去噪】论文精读：PromptIR: Prompting for All-in-One Blind Image Restoration
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
02-18 530
论文题目：PromptIR: Prompting for All-in-One Blind Image Restoration —— PromptIR：提示多功能盲图像恢复本文属于All-in-One图像恢复，对比的都是All-in-One方法，除了模型模块结构外，我们只关注去噪相关的部分。图像恢复包括从退化版本中恢复高质量的干净图像。基于深度学习的方法显着提高了图像恢复性能，但是，它们对不同退化类型和级别的泛化能力有限。
【图像去噪】前沿资讯：第十届NTIRE 2025图像去噪挑战报告，一大批CVPRW论文即将来袭！
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-21 1087
The Tenth NTIRE 2025 Image Denoising Challenge是第十届CVPR NTIRE (New Trends in Image Restoration and Enhancement) Workshop研讨会比赛之一 —— 图像去噪挑战赛，旨在促进去噪领域的发展，对不同的去噪技术进行公平比较，促成潜在的合作关系。加噪声白噪（AWGN），σ=50。计算效率和模型复杂度不参与评判。也就是说，只看涨点，无疑又是一场军备竞赛。核心思想：偏差调优。
【NeurIPS 2023】PromptIR: Prompting for All-in-One Blind Image Restoration
m0_61899108的博客
12-02 3603
图像恢复是从其受损版本中恢复高质量清晰图像的过程。deep-learning方法显著提升了图像恢复性能，然而，它们在不同类型和级别的退化上的泛化能力有限。这限制了它们在实际应用中的使用，因为需要针对每种具体的退化进行单独训练模型，并了解输入图像的退化类型才能应用相应的模型。本文介绍了一种基于提示的学习方法，称为PromptIR，用于全能图像恢复，可以有效地从各种类型和级别的退化中恢复图像。具体而言，本文方法使用提示来编码退化特定信息，并动态引导恢复网络。
【论文学习】PromptIR：一种基于提示学习的一体化图像恢复方法
录求学之迹，留影于凡庸之日，若有益于君，更胜琼瑶。
07-20 2915
PromptIR:一种基于提示学习的方法来执行一体化图像恢复。具有以下的特点 ①完全依赖于输入图像来恢复干净的图像，而不需要任何退化的先验知识。 ②很容易地集成到任何现有的恢复网络。。 ③具有动态适应能力
即插即用系列 | PromptIR：MBZUAI提出一种基于Prompt的全能图像恢复网络
专注计算机视觉全栈知识分享
07-22 768
通过将提示块集成到最先进的恢复模型中，本文展示了提示块在全能图像恢复中的实用性，在图像去噪、去雨和去雾任务上取得了显著的改进。这限制了它们在实际应用中的使用，因为需要针对每种具体的退化进行单独训练模型，并了解输入图像的退化类型才能应用相应的模型。因此，本文提出了提示生成模块（PGM），它从输入特征中动态预测基于注意力的权重，并将这些权重应用于提示组件，生成与输入条件相关的提示。PromptIR提出了一个即插即用的提示模块，它隐式地预测与退化条件相关的提示，以引导具有未知退化的输入图像的恢复过程。
VC：A Robust Approach to Blind Image Inpainting 一种鲁棒性的盲图像修复方法（2020）论文笔记
qq_48387055的博客
11-23 234
盲修复是一项自动完成视觉内容的任务，无需为图像中缺失的区域指定掩码。之前的研究假设缺失区域模式是已知的，限制了其应用范围。本文通过定义一个新的盲修复设置来放宽假设，使盲修复神经系统对各种未知缺失区域模式的训练具有鲁棒性。我们提出了一个两阶段的视觉一致性网络(VCN)，旨在估计填充的位置(通过掩模)并生成填充的内容。在此过程中，不可避免的存在潜在掩模预测误差，导致后续修复中出现严重的伪影。为了解决这个问题，我们的VCN首先预测语义不一致的区域，使掩码预测更容易处理。然后使用新的空间归一化方法修复这些估计的缺失
【图像去噪】论文精读：InstructIR: High-Quality Image Restoration Following Human Instructions
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
06-22 42
本文提出了一种创新的图像恢复方法InstructIR，首次利用自然语言指令指导多任务图像恢复。该方法通过文本提示实现对去噪、去雨、去模糊、去雾和低光增强等任务的统一处理，大幅提升了外行用户的可用性。研究人员使用GPT-4生成了超过10,000条多样化的恢复指令，并构建了高质量的配对训练数据集。模型采用轻量化的BGE-micro-v2文本编码器，并创新性地加入投影层和意图分类损失来优化指令理解。
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
热门推荐
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 1万+
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
【图像去噪】论文精读：Residual-Conditioned Optimal Transport: Towards Structure-Preserving Unpaired and Paired
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-02 151
论文题目：Residual-Conditioned Optimal Transport: Towards Structure-Preserving Unpaired and Paired Image Restoration —— 用于图像去噪的双剩余注意网络ICML 2024！基于深度学习的图像恢复方法通常难以忠实地保留原始图像的结构。在这项工作中，我们提出了一种新颖的残差条件最优传输 (RCOT)方法，该方法。
实现高效的深盲原始图像恢复
ysh的博客
10-23 1317
诸如去噪、去模糊和超分辨率等多重低视觉任务通常从RGB图像开始，进一步减少退化现象，从而提高图像质量。然而，由于在图像信号处理（ISP）过程中的转换，在sRGB域中建模这些退化现象变得复杂。尽管这是一个已知问题，但文献中很少有方法直接处理传感器RAW图像。在本文中，我们直接在RAW域中处理图像恢复问题。我们设计了一个新的真实退化管道，用于训练深度盲RAW恢复模型。我们的管道考虑了真实的传感器噪声、运动模糊、相机抖动和其他常见的退化现象。
探索视觉修复的未来：BIRD - 快速扩散逆向的盲图像恢复
gitblog_00089的博客
06-12 753
探索视觉修复的未来：BIRD - 快速扩散逆向的盲图像恢复 去发现同类优质开源项目:https://gitcode.com/ 在数字时代，图像质量成为了我们日常交流与创作的关键。今天，我们要向您隆重推荐一款前沿科技的结晶——Blind Image Restoration via Fast Diffusion Inversion (BIRD)。这不仅是一个项目，它是技术与美学的完美碰撞，旨在解决图像...
PromptIR：引领图像恢复技术的未来
gitblog_00186的博客
10-09 522
PromptIR：引领图像恢复技术的未来 PromptIR PromptIR: Prompting for All-in-One Blind Image Restoration [NeurIPS 2023] 项目地址: https...
PromptIR论文阅读笔记
read, note and comment papers
05-30 842
MZUAI和IIAI在NIPS2023上的一篇论文，用prompt来编码degradation，然后用来guide restoration network，使得模型能够泛化到不同degradation types and levels，也就是说是一个模型一次训练能够应对多种degradation的unified model。 文章分析，对每种degradation都要train一个模型是compute-intensive and tedious process, and oftentimes impra
PromptIR 项目使用教程
gitblog_00185的博客
10-09 435
PromptIR 项目使用教程 PromptIR PromptIR: Prompting for All-in-One Blind Image Restoration [NeurIPS 2023] 项目地址: https://gi...
PromptIR项目常见问题解决方案
gitblog_00808的博客
12-30 857
PromptIR项目常见问题解决方案 PromptIR PromptIR: Prompting for All-in-One Blind Image Restoration [NeurIPS 2023] 项目地址: https:/...
MiOIR | 直面 “多合一”图像复原，港理工张磊团队提出MiOIR，融顺序学习与提示学习于一体！
聚焦底层视觉处理，对相关基础AI技术持续学习
02-25 999
本文首发:尽管单任务图像复原已取得了极大成功，但单模型处理多复原任务仍极具挑战。本文对研究结果表明，采用所提的顺序学习和提示学习策略可以显著提高CNN和Transformer模型在多合一复原任务上的性能。此外，这两种学习策略还能够相互促进，增强模型的鲁棒性。
PromptIR: 一站式盲图像恢复的开源项目
gitblog_00765的博客
01-08 383
PromptIR: 一站式盲图像恢复的开源项目 PromptIR PromptIR: Prompting for All-in-One Blind Image Restoration [NeurIPS 2023] 项目地址: ht...
Prompt最全指南（非常详细）从入门到精通，看这一篇就够了
chengxuyuanyy的博客
09-03 1756
作为大模型的一个技术分支，很多人接触大模型的第一步就是写prompt，而这的确也是大模型发展的其中一个重要方向技术，也是很多实际运用问题解决的关键步骤。Prompt技术的基本思想是，通过给模型提供一个或多个提示词或短语，来指导模型生成符合要求的输出。本质上是通过恰当的初始化参数（也就是适当的输入语言描述），来激发语言模型本身的潜力。例如，在文本分类任务中，我们可以给模型提供一个类别标签的列表，并要求它生成与这些类别相关的文本；在机器翻译任务中，我们可以给模型提供目标语言的一段文本，并要求它翻译这段文本。
promptir项目复现与讲解
03-12
<think>嗯，用户想了解如何复现PromptIR项目，我需要先确认这个项目的具体情况。首先，PromptIR可能是一个图像恢复相关的深度学习项目，比如去噪、超分辨率或者去模糊。用户提到参考了关于深度学习复现GitHub项目的流程，所以需要结合这些通用步骤来具体化。 用户需要详细的复现步骤，包括环境配置、数据准备、代码调整、训练和测试等。首先，我应该检查PromptIR的官方仓库，通常GitHub上会有README文档，里面可能有安装指南和依赖项。如果用户没有具体说明项目地址，可能需要建议他们确认仓库的正确性，比如是否有PyTorch或TensorFlow的实现。 接下来，数据准备是关键。根据引用[1]中的信息，数据路径需要与代码位置一致。比如facades数据集要放在datasets目录下。PromptIR可能使用特定的数据集，用户需要按照项目要求下载并放置到正确的位置，可能需要修改配置文件中的路径。 然后是环境配置，安装必要的库，比如PyTorch、CUDA工具包，以及项目特有的依赖。如果项目有requirements.txt，用户可以通过pip安装。如果遇到版本冲突，可能需要创建虚拟环境。 代码调整方面，用户可能需要根据硬件修改batch size或者学习率。比如GPU内存不足时减小batch size。另外，预训练模型是否可用，是否需要从其他来源下载，这也是常见的问题点。 训练和测试阶段，用户需要运行训练脚本，并监控训练过程。使用TensorBoard或日志文件查看损失和指标。测试时，加载训练好的模型，处理示例图像并评估结果。 常见问题可能包括依赖项版本不兼容、数据路径错误、CUDA内存不足等。需要建议用户查看错误日志，逐步排查。此外，复现过程中可能需要调整超参数或数据增强方法。 最后，生成相关问题时，要考虑用户可能的后续疑问，比如环境配置问题、数据预处理、模型结构、训练技巧和应用场景等。这些问题能帮助用户更全面地理解复现过程，并解决可能遇到的障碍。</think>关于PromptIR项目的复现，目前公开资料较少，但根据深度学习项目复现的通用流程和图像恢复领域（Image Restoration）的共性要求，建议按照以下步骤操作： ### 一、环境准备 1. 确认官方代码库（建议优先选择GitHub星标>500的仓库） 2. 安装基础依赖： ```bash conda create -n promptir python=3.8 conda install pytorch==1.12.1 torchvision==0.13.1 cudatoolkit=11.3 -c pytorch pip install opencv-python einops tqdm ``` ### 二、数据准备 1. 下载项目所需数据集（通常包括： - 训练集：SIDD、DND等噪声数据集 - 测试集：BSD68、Urban100等 2. 按项目要求组织目录结构： ``` datasets/ ├── train/ │ ├── clean/ │ └── noisy/ └── test/ ├── Set5/ └── CBSD68/ ``` 注意路径配置需与代码中的`dataset_root`参数一致[^1] ### 三、代码调整 1. 检查`configs/`目录下的配置文件 2. 根据显存情况调整batch size： ```python # 修改train.py中 config.batch_size = 16 -> 8 # 适用于24G显存 ``` 3. 若使用预训练模型： ```python checkpoint = torch.load('pretrained/promptir.pth') model.load_state_dict(checkpoint['state_dict']) ``` ### 四、训练执行 ```bash python train.py --config configs/promptir.yaml --gpu 0 ``` 通过tensorboard监控训练过程： ```bash tensorboard --logdir runs/ ``` ### 五、测试验证 ```python from models import PromptIR model = PromptIR() test_psnr = evaluate(model, test_loader) print(f"PSNR: {test_psnr:.2f}dB") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

柏赢安Simona

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值