DA-CLIP深度学习图像复原项目运行指导（一）

置顶 已于 2024-03-18 16:37:18 修改
阅读量2.6k 收藏 38
点赞数 37
分类专栏： DA-CLIP 文章标签： 人工智能 计算机视觉 深度学习 conda
于 2024-03-13 21:17:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_60350022/article/details/136688746
版权

基本信息：

  • 标题：CONTROLLING VISION-LANGUAGE MODELS FOR MULTI-TASK IMAGE RESTORATION
  • 作者：Ziwei Luo, Fredrik K. Gustafsson, Zheng Zhao, Jens Sjölund, Thomas B. Schön
  • 机构：Department of Information Technology, Uppsala University
  • 发表日期：该论文是在2024年的ICLR（International Conference on Learning Representations）会议上发表的。
  • papericon-default.png?t=N7T8https://openreview.net/pdf?id=t3vnnLeajU 

简介：

文章提出了一种名为DA-CLIP（Degradation-Aware CLIP）的新型视觉-语言模型，旨在通过结合大规模预训练的CLIP模型与图像恢复网络，提高多任务图像恢复的性能。文章的主要成果包括：

  1. DA-CLIP模型：开发了一个能够适应固定CLIP图像编码器以预测高质量特征嵌入的额外控制器。该控制器还能输出与输入图像实际退化类型相匹配的退化特征。

  2. 多任务图像恢复：DA-CLIP能够在统一的框架下处理特定的图像退化任务，如去雾、去噪、去模糊等，实现高质量的图像恢复。

  3. 混合退化数据集：构建了一个包含十种不同图像退化类型的大型数据集，并使用BLIP框架为高质量图像生成合成标题，用于训练DA-CLIP。

模型结构：

具备退化类型检测功能，Image Controller对CLIP的图像编码器微调

IR-SDE(一种均值回归微分方程，如下图)稍作修改作为图像恢复的基本框架。。论文没有给出具体复原模型的框架图，但对思路进行了描述

图像复原论文解读：IR-SDEicon-default.png?t=N7T8https://blog.youkuaiyun.com/qq_20448873/article/details/130457619

相关文章解读：

CONTROLLING VISION-LANGUAGE MODELS FOR MULTI-TASK IMAGE RESTORATION_controlling vision-language models for universal i-优快云博客icon-default.png?t=N7T8https://blog.youkuaiyun.com/qq_43800752/article/details/134670677图像恢复最近的工作 - 知乎 (zhihu.com)icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/686235079UniversalImageRestoration | 多任务图像修复-腾讯云开发者社区-腾讯云 (tencent.com)icon-default.png?t=N7T8https://cloud.tencent.com/developer/article/2350183图像重建《Controlling Vision-Language Models for Universal Image Restoration》 - 知乎 (zhihu.com)icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/6701295262023 ICML | 用于通用图像复原的可控视觉与语言模型 - 知乎 (zhihu.com)icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/680311992

实验目标

codeicon-default.png?t=N7T8https://github.com/Algolzw/daclip-uir

readme.md中提示app.py中已有Gradio写好的运行界面。

  1. 下载DA-CLIP和UIR并修改在options/test.yml的模型地址
  2. 运行app.py在http://localhost:7860

！安装虚拟环境，注意请阅读完本人踩过的坑

  • 下载的要么统一mix版或统一非mix版，不然可能出现无法识别的情况。

readme有Ubuntu的参考，但博主尝试在windows中运行。

在Anaconda Prompt 创建conda虚拟环境或者在Anaconda3 Navigator创建，python3.8

想在Anaconda Prompt的项目目录下

pip install -r requirement.txt 

但是一直报错无法全部安装（解决办法，一份为多份文件逐次安装）。原因有，

  • 下载源网络连接太差httpconnection error，几十kb/s；（解决办法，换源）

Pip install ** -i https://pypi.tuna.tsinghua.edu.cn/simple/

  • yanked version(已撤回的包版本，不记得哪个包，没有管）

  • nvidia-nccl-cu11==2.14.3报错（不安装了）

  • nvidia-cudnn-cu11==8.5.0.96版本不存在(换新版本）

  • 一个python,import问题但实质是导的包问题

地址没错，但无法调用函数，原来是import另一个文件出错，但是被pass掉了

python import 问题-优快云博客icon-default.png?t=N7T8https://blog.youkuaiyun.com/m0_60350022/article/details/136666227?spm=1001.2014.3001.5501

  • options.py的prase方法有一处需要将/改为\\，原因是源代码的工作环境是Linux,而博主采用的是windows的绝对路径名，附上代码注释

    config_dir = path.split("/")[-2]
修改为
config_dir = path.split("\\")[-2]

运行及相关结果

  • 界面完善功能齐全。提供的10个样例都能成功运行。具备上传下载，展示对比进度读秒等功能。

  • 部分素材包图像可复原，readme中有素材包链接

  • 问题1：素材包和外部数据集有无法识别任务的情况，下图本意应该是去噪。

问题分析：daclip模型和图像恢复参数版本不匹配，导致无法识别或识别后无法修复。修改为统一mix版或非mix版。博主原先下载的版本：

修改后正常去噪：

  • 问题2：素材包的动作模糊样例全都out of menory,本地GPU运行内存只有6G不够

  • 尝试使用gradio添加外网访问链接。

需要在app.py最后一行改为

interface.launch(share=True)

由于下载的gradio包缺少frpc，无法穿透外网需要对应包的支持

1. Download this file: https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_windows_amd64.exe

2. Rename the downloaded file to: frpc_windows_amd64_v0.2注意把后面的.exe删去不然无法运行

3. Move the file to this location: C:\Users\86136\anaconda3\envs\DA-CLIP\lib\site-packages\gradio博主的虚拟环境地址中的gradio包的位置，修改为你自己的地址

如果无法连接huggingface,参考下面博文

【Gradio-Windows-Linux】解决share=True无法创建共享链接，缺少frpc_windows_amd64_v0.2_frpc_windows_amd64.exe-优快云博客icon-default.png?t=N7T8https://blog.youkuaiyun.com/qq_42531954/article/details/133901919?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522171074604416800226586214%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=171074604416800226586214&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-133901919-null-null.142%5Ev99%5Epc_search_result_base7&utm_term=gradio%20share%3Dtrue%E6%97%A0%E6%B3%95%E6%89%93%E5%BC%80&spm=1018.2226.3001.4187成功

需要等一会才能打开。注意关掉梯子才能出外网链接。不然只会提示你查看gradio的连接状态

  • 还未尝试更多外部数据集测试。用手机拍的照片容易OOM

深度学习最全面试题总结（一）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-04 2万+
导读：本系列深度学习面试题系列总结，资料集合包含机器学习、深度学习等各系列常见问题，可配合下列资料一起学习，内容参考Github及网络资源，仅供个人学习。侵权联系删除！
PyTorch深度学习实战（44）——基于 DETR 实现目标检测
盼小辉丶的博客
06-04 6749
基于 DETR 的目标检测模型是将 Transformer 网络引入目标检测任务中，与传统的基于区域提议的检测方法有所不同。DETR 模型的核心思想是将目标检测问题转化为集合预测问题，通过将图像中的所有位置视为一个集合，并通过 Transformer 完成对整个集合的编码和解码过程，从而在单个前向传递中直接预测出目标的类别和边界框。在本节中，我们将学习 transformer 和 DETR 的原理，并使用 PyTorch 实现 DETR 以执行目标检测任务。
开源项目推荐：DA-CLIP-UIR
最新发布
gitblog_01155的博客
01-08 697
开源项目推荐：DA-CLIP-UIR daclip-uir PyTorch implementation of the paper "Controlling Vision-Language Models for Universal Image Restoration". ...
基于深度学习的老照片修复系统
csbysj2020
01-10 2235
这些老照片记录了宝贵的回忆和历史，但由于质量问题，它们的可视化效果受到了限制。修复后的照片将拥有更鲜艳的颜色、更清晰的细节和更准确的曝光。例如，超分辨率算法可以增加照片的分辨率，去噪算法可以减少图像中的噪声，颜色恢复算法可以修复褪色的颜色，以及调整暗调/高光以改善整体效果等。生成器负责生成修复后的照片，判别器则评估生成的照片与真实照片之间的差异。修复后的照片将具有更好的质量、更准确的颜色和更清晰的细节。数据集： 为了训练模型，项目需要大量的旧照片数据集，其中包括褪色、损坏或曝光不当的照片。
Python-DeOldify基于深度学习对老照片自动着色与修复
08-10
DeOldify - 基于深度学习对老照片自动着色与修复
Python-利用TensorFlow中的深度学习进行图像修复
08-11
利用TensorFlow中的深度学习进行图像修复
DA-CLIP中关于图像退化检测和复原处理，推理过程代码的整体理解（三）
m0_60350022的博客
04-13 1524
app.py中退化检测+图像复原代码原理+代码讲解
深度学习系列45：图像恢复综述
kittyzc的博客
06-23 1万+
从本期开始，会探索图像恢复领域的论文和代码。本次先阅读一下综述。 传统方法一个很大的假设是我们相信我们可以在缺失区域之外找到相似的patch，但是如果缺失区域之外没有任何类似的patch，就没有办法正确修复图像了。 2016年出现的基准的GAN算法，生成器为一个U型网络，判别器为多层卷积网络。损失包括像素级别的重建损失(L2)和鉴别器产出的对抗损失。 2016年升级版的context encode，其生成器包含两部分，增加了生成纹理的卷积网络： 上面的U型网络用于生成内容，损失函数包括L2损失和对抗损失。
基于深度学习的图像去雾研究进展
悠眠小虫的博客
09-17 6864
图像去雾技术是计算机视觉领域中的一个重要研究方向，它旨在通过算法处理，改善因大气散射作用（如雾、霾等）导致的图像质量下降问题。近年来，随着深度学习技术的发展，基于神经网络的去雾算法取得了显著进展，尤其是基于Transformer的去雾算法在多个场景下表现出了良好的性能。因此，本文将探讨近年来图像去雾领域的研究进展，包括不同方法的性能表现，以及评估去雾效果的性能指标。
适应CLIP作为图像去雾的聚合指导
u014546828的博客
08-23 1590
大多数去雾方法都存在感受野有限的问题，并且没有探索视觉-语言模型中蕴含的丰富语义先验，这些模型已在下游任务中被证明是有效的。本文介绍了CLIPHaze，这是一个开创性的混合框架，它通过结合Mamba的高效全局建模能力与CLIP的先验知识和零样本能力，同时解决了这两个问题。采用并行状态空间模型和基于窗口的自注意力机制，分别获得全局上下文依赖和局部细粒度感知。为了无缝地融合来自两条路径的信息，我们引入了CLIP指导的聚合模块（CAM）。
DA-CLIP：Controlling Vision-Language Models for Universal Image Restoration
志在山顶的人，不会贪念山腰的风景
12-20 1475
尽管CLIP在high-level的视觉任务中有较好的性能，但当涉及到low-level的视觉任务（如图像恢复）时，由于输入图像的退化，它们的性能会急剧下降。因此本文方法的核心就是控制预训练的CLIP模型，能够从退化图像中输出高质量的图像特征，并且同时预测退化类型。
多元图像复原（计算机视觉）Pluralistic Image Completion
03-11
Abstract Most image completion methods produce only one result for each masked input, although there may be many reasonable possibilities. In this paper, we present an approach for pluralistic image completion – the task of generating multiple and diverse plausible solutions for image completion. A major challenge faced by learning-based approaches is that usually only one ground truth training instance per label. As such, sampling from conditional VAEs still leads to minimal diversity. To overcome this, we propose a novel and probabilistically principled framework with two parallel paths. One is a reconstructive path that utilizes the only one given ground truth to get prior distribution of missing parts and rebuild the original image from this distribution. The other is a generative path for which the conditional prior is coupled to the distribution obtained in the reconstructive path. Both are supported by GANs. We also introduce a new short+long term attention layer that exploits distant relations among decoder and encoder features, improving appearance consistency. When tested on datasets with buildings (Paris), faces (CelebA-HQ), and natural images (ImageNet), our method not only generated higherquality completion results, but also with multiple and diverse plausible outputs.
pytorch: 图像恢复问题的代码实现详解(derain,dehaze,deblur,denoise等通用)
书山有路，学海无涯！
09-06 8275
文章目录前言数据集训练数据集评估数据集测试数据集网络模型自定义工具包网络训练和测试结语 前言 图像恢复是一类图形去噪问题的集合，在深度学习中可以理解为监督回归问题，主要包括图像去雨、图像去雾、图像去噪，图像去模糊和图像去马赛克等内容，但利用 pytorch 实现的代码类似，只是在具体网络结构上略有区别。 以图像去雨为例，之前写过一篇图像去雨的 pytorch 实现文章: https://blog.youkuaiyun.com/Wenyuanbo/article/details/116541682，但因当时能力和水平有限
【DA-CLIP】Windows下使用clip_interrogator/BLIP进行生成图像-文本-退化类型数据集的generate_caption.py代码运行逻辑
m0_60350022的博客
03-27 2221
clip_interrogator的BLIP和CLIP模型创建、模型下载、模型配置文件、模型权重加载等问题。
DA-CLIP论文阅读笔记
read, note and comment papers
05-25 1172
这是ICLR2024的一篇用VLM做multi-task image restoration的论文 首页图看起来就很猛啊，一个unified模型搞定10个任务： 文章的贡献点主要是两个，一个是提出一个利用Image Controller，CLIP，cross-attention 和 diffusion restoration network 来实现 unified image restoration 的框架，一个是提出了一个数据集，有10种 degradation types 同时配有 hig-qua
【3万字代码解读】DA-CLIP/open_clip模型创建、模型配置读取、预训练权重地址读取
m0_60350022的博客
03-26 5434
DA-CLIP/open_clip仓库中模型创建、模型配置读取、预训练权重地址读取代码解读
DA-CLIP项目演示代码app.py讲解(二)
m0_60350022的博客
03-18 1476
配置Python环境，安装必要的库和依赖，如TensorFlow、PyTorch、Keras、OpenCV、Gradio等。确保CUDA和cuDNN（如果使用NVIDIA GPU）已正确安装和配置。DA-CLIP深度学习图像复原项目运行指导（一）_基于clip模型的图像修复-优快云博客。
基于DA-CLIP的毕设：深度学习图像复原系统
m0_60350022的博客
05-09 1515
本科毕业论文深度学习图像复原系统开源
【Gradio-Windows-Linux】解决share=True无法创建共享链接，缺少frpc_windows_amd64_v0.2
热门推荐
记录我的学习历程
10-18 2万+
本文主要讨论了在使用 Gradio 部署机器学习模型时可能会遇到的问题，并提供了相应的解决方法。具体来说，问题可能出现在缺少 `frpc_windows_amd64_v0.2` 文件的情况下，导致 `share=True` 功能无法正常工作。为了解决这个问题，我们提供了手动下载并添加该文件的详细步骤。 此外，为了方便读者，我们还提供了百度网盘链接，以获取适用于不同系统的多个版本的 frpc 文件。同时，我们强烈建议在进行任何文件操作之前，务必备份重要数据，以防发生意外情况。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值