【老照片上色+在线运行】DDColor：阿里黑白图像上色模型（2022.12提出）

已于 2024-01-23 16:03:16 修改
阅读量2.7k 收藏 26
点赞数 14
分类专栏： AIGC 生成式人工智能 论文解读 文章标签： 老照片上色 colorization 阿里达摩院 DDColor cross-attention
于 2024-01-23 15:40:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/imwaters/article/details/135766490
版权

在这里插入图片描述
[2024-01-18] 在线运行demo： https://www.modelscope.cn/models/iic/cv_ddcolor_image-colorization/summary
[2023-12-13] Release the DDColor-tiny pre-trained model!
[2023-09-07] Model Zoo 多个模型发布:https://github.com/piddnad/DDColor/blob/master/MODEL_ZOO.md
[2023-05-15] 代码开源 ：https://github.com/piddnad/DDColor?tab=readme-ov-file
[2022-12-22] 发布论文 DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders

简介

在这里插入图片描述

阿里巴巴摩院 提出基于Unet+Transfomer(cross-attenrtion)。双解码结构的图像上色着色 （image colorization）模型

由于图片残缺脱色破损等病态，多模态的信息的不确定性，自动图像着色是一个具有挑战性的问题。
直接训练深度神经网络通常会导致语义颜色不正确，颜色丰富度低（low color richness）
不像以前的方法是通过额外的网络或手动计算先验来优化颜色可能性，我们的方法使用基于变换的颜色解码器以端到端方式学习自适应语义感知的颜色嵌入。通过使用多尺度图像特征来学习颜色查询，我们的方法减轻了颜色溢出，并显著改善了小物体的着色(见图1)。在此基础上，我们提出了一种新的色彩损失，以提高生成结果的色彩丰富度。

主要方法

为了使灰度图像XL上色，我们的模型首先使用骨干网络(ConvNeXt)提取其视觉特征。然后将这些特征输入图像解码器，解码器恢复图像的空间结构。
同时，颜色解码器利用图像解码器产生的不同尺度的图像特征学习自适应颜色查询（adaptive color queries）。
融合模块(fusion)将两个解码器产生的图像和颜色特征结合起来，产生色彩生动，语义清晰(vivid and semantic-aware color)的颜色输出。
最后，我们沿着通道维度(channel dimension)将y^AB和xL 串联起来，得到最终的着色结果。
(b)彩色解码器块的结构。以图像特征和**可学习**的颜色查询为输入，通过交叉注意、自注意和前馈操作(feed forward operations)建立语义和颜色表示之间的相关性
在这里插入图片描述
具体的：包括一个多尺度(multi-scale) 图像解码器和一个基于transformer的颜色解码器( color decoder)。
前者恢复图像的空间分辨率，而后者通过交叉注意(cross-attention)建立颜色和语义表示之间的相关性。
我们的两个解码器不是使用额外的先验，而是协同工作以利用多尺度图像特征来指导自适应颜色查询的优化，从而显著减轻颜色溢出（color bleeding effects）效果。此外，还引入了一种简单而有效的色彩损失（colorfulness loss），以进一步提高生成结果的颜色丰富度。

实测

国内阿里demo(打开界面 右侧比较小)：

https://www.modelscope.cn/models/iic/cv_ddcolor_image-colorization/summary
在这里插入图片描述
在这里插入图片描述

replicate

https://replicate.com/piddnad/ddcolor
在这里插入图片描述

本机部署测试

在这里插入图片描述

小白论文复现 ： DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders
weixin_63260303的博客
04-23 2656
科研小白首次复现论文：复现顶会（ICCV）论文 DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders。作者提出了一种用于图像着色的端到端方法，称为 DDColor。DDColor 的主要贡献在于设计了两个解码器：色彩解码器和像素解码器，前者利用基于查询的转换器学习语义感知的色彩查询，后者生成多尺度视觉特征以优化色彩查询。作者的方法在性能和生成逼真且语义一致的着色能力方面都超越了以前的方法。
阿里开源黑白图片上色算法DDColor的部署与测试并将模型转onnx后用c++推理
凉_白开的博客
04-23 1545
DDColor是一种基于深度学习的图像上色技术，它利用卷积神经网络（CNN）对黑白图像进行上色处理。该模型通常包含一个编码器和一个解码器，编码器提取图像的特征，解码器则根据这些特征生成颜色。DDColor模型能够处理多种类型的图像，并生成自然且逼真的颜色效果。它在图像编辑、电影后期制作以及历史照片修复等领域有广泛的应用。
阿里达摩院出品，到底有多牛？
最新发布
2501_90256091的博客
02-26 328
先简单介绍一下，DDColor是阿里达摩院研究的基于深度学习技术的图像上色模型，项目开源且免费，感兴趣的小伙伴们可以自己进行部署，当然，我也给大家准备了本地版。而且，DDColor还能和无损放大软件一起用，这样我的老照片不仅颜色回来了，连细节都更清晰了。考虑到小白比较多，所以热心的吾爱大佬已经打包好了本地版，咱们下载后解压即用，只不过体积有1个多G，没有内存焦虑的可以无脑下载。它不仅能为黑白照片进行生动自然的上色操作，还能把动漫/游戏里的画面变为现实生活中的风格，但前提是得重新着色。
AI一键上色！阿里出品大模型，老照片修复神器！黑白照片一键修复上色工具，免费纯本地运行
2401_85871694的博客
07-01 717
实测效果不错，阿里达摩院出品，很厉害使用简单，纯本地运行，无需安装，打开即用老照片修复神器，可以配合无损放大软件使用。
DDColor：AI图像着色工具，优秀的黑白图像上色模型，支持双解码器！
z_ipython的博客
01-26 2194
在数字图像处理领域，图像上色一直是一个重要的课题。传统的图像上色方法通常需要人工干预，耗时且效果有限。然而，随着深度学习技术的发展，自动图像上色模型逐渐成为了研究热点。其中，DDColor图像上色模型以其出色的性能和便捷的使用方式备受关注。DDColor是一个由阿里达摩院研究的基于深度学习技术的图像上色模型，它能够自动将黑白或灰度图像着色，使图像更加生动逼真。该模型采用了先进的神经网络架构和训练技术，能够识别图像中的物体和场景，并为其添加逼真的颜色。
创新色彩革命：DDColor——照片实时上色利器
gitblog_00541的博客
08-09 645
创新色彩革命：DDColor——照片实时上色利器 DDColor项目地址:https://gitcode.com/gh_mirrors/dd/DDColor ???? DDColor，这个由DAMO学院和阿里巴巴集团共同研发的开源PyTorch实现项目，为图像增强领域带来了一场创新风暴。它以ICCV 2023论文为基础，借助双解码器技术，实现了照片级真实的黑白老照片上色。 ???? 项目核心亮点在于其能将历...
探索DDColor：一款强大的颜色管理工具
gitblog_00084的博客
04-14 595
探索DDColor：一款强大的颜色管理工具 DDColor项目地址:https://gitcode.com/gh_mirrors/dd/DDColor 是一个开源的颜色选择和管理应用，它专为设计师、开发者和其他需要精确控制色彩的人群设计。此项目的初衷是提供一种简洁易用的方式，让颜色选取与应用变得更加直观和高效。 技术分析 跨平台支持：DDColor采用Electron框架开发，这意味着它可以...
硬核分享|使用AI模型给黑白照片上色与高清修复
平平无奇
03-22 2014
低清修复前高清修复后我们在日常生活中可能会频繁地接触到一些历史悠久、画面模糊甚至破损严重的照片。这类照片往往饱含珍贵的记忆与历史价值，但由于其画质受损，往往会给人们造成一定的困扰。值得庆幸的是，现代人工智能技术如先进的图像处理算法为我们提供了一系列功能强大的工具，让我们能够通过这些工具轻松地对这些照片进行修复，使之焕发新的活力并重新展现其原有的魅力。在此篇文章中，我想向各位分享几种采用最前沿的图像处理算法打造的优秀图片高清修复软件。
上色AI工具DDColor：通过图生图的方法生成摄影级写实图片帮你上色
heehelcom的博客
01-15 2191
利用双解码器技术，能够精确地为黑白照片或动漫游戏场景上色，实现高度真实的图像效果。该技术突破了传统方法的局限，通过自主学习图片内容来决定颜色，减少了颜色错误的问题，使最终的图像色彩更丰富、更自然。这不仅为历史黑白照片赋予了新的生命，还为动漫和游戏爱好者带来了全新的视觉体验。上色能力弱的画手可以通过这个工具帮助自己上色，或者可以给黑白漫画上色变成彩漫。
DDColor部署安装，在服务器Ubuntu22.04系统——点动科技
weixin_63782093的博客
08-10 1474
DDColor图片上色项目的部署安装，在服务器Ubuntu22.04系统——点动科技
给黑白图片上色的节点——ComfyUI-DDColor
u013224364的博客
04-26 1630
看，上色还是很出色的，但是如果对黑白漫画上色的话，效果不是很好，上的颜色很乱，不符合日常常识，如下。【干货分享】用ComfyUI-DDColor一键给黑白老照片上色，使用简单，效果还非常惊艳。这个上色对黑白照片上色效果很好，我就随便在网上找一张黑白照片看看效果，如下。如果你图片小，就把上面的数字改小一点，设置为512，如下。什么情况下使用这些模型呢？把上面的模型放到下面的目录中，如下。星球号：32767063。
DDColor：极致丝滑的上色体验
2401_83063795的博客
03-02 1722
DDColor：基于深度学习的图像上色工具让黑白图像焕发生机。 - 精选真开源 释放新价值
DDColor 项目使用教程
gitblog_00777的博客
08-09 539
DDColor 项目使用教程 DDColor项目地址:https://gitcode.com/gh_mirrors/dd/DDColor 1. 项目的目录结构及介绍 DDColor 项目的目录结构如下： DDColor/ ├── data_list/ ├── docs/ ├── options/ │ └── train/ ├── pretrain/ ├── scripts/ ├── src/...
基于深度学习神经网络的AI图片上色DDcolor系统源码
修行之路
04-27 1071
基于深度学习神经网络的AI图片上色DDcolor系统源码
DDColor 图像上色模型
CherryXieのblog
12-26 652
模型使用公开数据集 ImageNet 训练，其训练集包含 128 万张自然图像。
DDColor 开源项目使用教程
gitblog_00243的博客
08-09 533
DDColor 开源项目使用教程 DDColor项目地址:https://gitcode.com/gh_mirrors/dd/DDColor 项目介绍 DDColor 是一个由阿里巴巴 DAMO 学院开发的开源项目，旨在通过双解码器（Dual Decoders）技术实现照片级真实感的图像着色。该项目在 ICCV 2023 会议上发表，能够为历史黑白老照片提供生动自然的着色，甚至可以将动漫游戏的景...
DDColor黑白焕彩，Transformer 加持，一键唤醒图像的鲜活视界！
SJJS_1的博客
12-23 393
DDColor 是最新的 SOTA 图像上色算法，能够对输入的黑白图像生成自然生动的彩色结果。
【达摩院OpenVI】老片图像上色，一键开源体验
孙佰贵的专栏
03-08 6605
本文介绍开源图像上色一键体验，它是指对黑白图像添加色彩，使其变成彩色图像。更具体的说，我们常见的彩色图像通常是三通道图像，而黑白图像只有一个灰度通道，因此，图像上色旨在利用单一灰度通道恢复图像的两个彩色通道。随着摄影技术的演进，彩色照片在现在已经非常普及，但仍然有大量历史黑白照片遗留。图像上色可以对这些宝贵的旧时代遗产进行修复，令老照片重获新生。
DDColor - 黑白老照片一键AI上色工具，找回“失色“的记忆，老照片一键“回春” 本地一键整合包下载
AI人工智能影像技术博客
07-15 765
DDColor 是一个由阿里达摩院研究的基于深度学习技术的图像上色模型，主要用于黑白照片的修复和上色。它能够自动将黑白或灰度图像着色，使图像更加生动逼真。
cyclegan黑白图像上色ddcolor
01-02
### 如何使用 CycleGAN 和 DDColor 对黑白图像进行上色 #### 准备工作 为了实现这一目标，首先需要准备好所需的工具和环境。确保安装并配置好 Python 环境以及必要的依赖包。 对于 **DDColor** 的部署，按照官方说明完成以下操作： ```bash git clone https://github.com/piddnad/DDColor.git conda create -n ddcolor python=3.9 conda activate ddcolor pip install -r requirements.txt python3 setup.py develop pip install modelscope onnx onnxruntime ``` 下载对应的预训练模型文件，并将其放置于指定路径下[^5]。 而对于 **CycleGAN**, 可以通过 PyTorch 或 TensorFlow 实现来加载预训练权重。这里假设已经有一个可用的 CycleGAN 模型用于黑白到彩色转换的任务。 #### 数据准备 将待处理的 `img.png` 图片置于项目根目录或其他合适位置，以便后续脚本可以直接访问此文件作为输入数据[^1]。 #### 上色流程 可以先尝试单独运行两个不同的方法来进行对比实验，也可以组合两者的优势得到更好的结果。具体来说， - 使用 **DDColor** 处理图片时，可以通过调用其 API 接口传递参数如分辨率大小等；如果图较小，则可适当调整尺寸至 512×512 像素以优化性能表现[^2]。 - 当采用 **CycleGAN** 方案时，需注意选择合适的超参数设定，比如迭代次数、批次大小等因素影响最终输出质量。 下面是简单的Python代码片段展示如何集成这两个框架的功能: ```python from PIL import Image import numpy as np import torch from comfyui_ddcolor import apply_colorization # 自定义导入方式取决于实际安装情况 from cycle_gan_model import Generator # 同样自定义导入方式 def preprocess_image(image_path, target_size=(256, 256)): img = Image.open(image_path).convert('L') # 转灰度模式 resized_img = img.resize(target_size) array_data = np.array(resized_img)/255. tensor_input = torch.tensor(array_data[np.newaxis,...], dtype=torch.float32) return tensor_input.unsqueeze(0) if __name__ == "__main__": input_tensor = preprocess_image('./img.png') # 应用DDColor colored_by_ddcolor = apply_colorization(input_tensor)[0].cpu().detach().numpy() # 初始化CycleGAN生成器 generator = Generator() checkpoint = torch.load("path_to_cycle_gan_weights.pth") # 加载checkpoint generator.load_state_dict(checkpoint['model']) with torch.no_grad(): generated_output = generator(input_tensor.cuda()).squeeze().cpu().clamp_(min=-1,max=1)*0.5+0.5 final_result = (generated_output.permute(1,2,0)).numpy()*colored_by_ddcolor.mean(axis=(-2,-1)) result_image = Image.fromarray((final_result*255.).astype(np.uint8), mode='RGB') result_image.save("./result.png") ``` 这段程序展示了两种不同风格迁移算法相结合的方式，其中涉及到的数据预处理步骤是为了适应各自模型的要求而设计的。最后保存的结果即为融合后的彩色化效果图像。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曾小蛙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值