opencv dnn模块 示例(11) 灰度图彩色化 colorization

最新推荐文章于 2024-10-15 22:28:19 发布
原创 最新推荐文章于 2024-10-15 22:28:19 发布 · 1.8k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#opencv #dnn #灰度彩色化 #opencv4 #colorization

本文介绍如何使用OpenCV的深度学习模型为灰度图像添加颜色。通过加载预训练的Caffe模型，设置特定层的参数，实现图像的色彩化处理。示例代码展示了模型的加载、图像预处理、前向传播及结果展示。

一、opencv的示例模型文件

使用模型下载地址：colorization_deploy_v2.prototxt和
colorization_release_v2.caffemodel。

相关开源代码 http://richzhang.github.io/colorization ，https://github.com/richzhang/colorization

网络结构图如下:
在这里插入图片描述
倒数第五层至倒数第二层的网路结构参数如下。
在这里插入图片描述
在加载模型参数数据时，class8_ab层 和 conv8_313_rh层没有参数数据，需要手动进行额外添加。

二、示例代码

// This file is part of OpenCV project.
// It is subject to the license terms in the LICENSE file found in the top-level directory
// of this distribution and at http://opencv.org/license.html

#include <opencv2/dnn.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
#include <iostream>

using namespace cv;
using namespace cv::dnn;
using namespace std;

// the 313 ab cluster centers from pts_in_hull.npy (already transposed)
static float hull_pts[] = {
	-90., -90., -90., -90., -90., -80., -80., -80., -80., -80., -80., -80., -80., -70., -70., -70., -70., -70., -70., -70., -70.,
	-70., -70., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -50., -50., -50., -50., -50., -50., -50., -50.,
	-50., -50., -50., -50., -50., -50., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -30.,
	-30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -20., -20., -20., -20., -20., -20., -20.,
	-20., -20., -20., -20., -20., -20., -20., -20., -20., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10.,
	-10., -10., -10., -10., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 10., 10., 10., 10., 10., 10., 10.,
	10., 10., 10., 10., 10., 10., 10., 10., 10., 10., 10., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20.,
	20., 20., 20., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 40., 40., 40., 40.,
	40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 50., 50., 50., 50., 50., 50., 50., 50., 50., 50.,
	50., 50., 50., 50., 50., 50., 50., 50., 50., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60.,
	60., 60., 60., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 80., 80., 80.,
	80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 90., 90., 90., 90., 90., 90., 90., 90., 90., 90.,
	90., 90., 90., 90., 90., 90., 90., 90., 90., 100., 100., 100., 100., 100., 100., 100., 100., 100., 100., 50., 60., 70., 80., 90.,
	20., 30., 40., 50., 60., 70., 80., 90., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -20., -10., 0., 10., 20., 30., 40., 50.,
	60., 70., 80., 90., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -40., -30., -20., -10., 0., 10., 20.,
	30., 40., 50., 60., 70., 80., 90., 100., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -50.,
	-40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -60., -50., -40., -30., -20., -10., 0., 10., 20.,
	30., 40., 50., 60., 70., 80., 90., 100., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90.,
	100., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -80., -70., -60., -50.,
	-40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -90., -80., -70., -60., -50., -40., -30., -20., -10.,
	0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30.,
	40., 50., 60., 70., 80., 90., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70.,
	80., -110., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., -110., -100.,
	-90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., -110., -100., -90., -80., -70.,
	-60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., -110., -100., -90., -80., -70., -60., -50., -40., -30.,
	-20., -10., 0., 10., 20., 30., 40., 50., 60., 70., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0.
};

int main(int argc, char **argv)
{
	const string about =
		"This sample demonstrates recoloring grayscale images with dnn.\n"
		"This program is based on:\n"
		"  http://richzhang.github.io/colorization\n"
		"  https://github.com/richzhang/colorization\n"
		"Download caffemodel and prototxt files:\n"
		"  http://eecs.berkeley.edu/~rich.zhang/projects/2016_colorization/files/demo_v2/colorization_release_v2.caffemodel\n"
		"  https://raw.githubusercontent.com/richzhang/colorization/master/colorization/models/colorization_deploy_v2.prototxt\n";

	string modelTxt = "../../data/testdata/dnn/colorization_deploy_v2.prototxt";
	string modelBin = "../../data/testdata/dnn/colorization_release_v2.caffemodel";
	string imageFile = "../../data/testdata/dnn/space_shuttle.jpg";
	bool useOpenCL = false;

	Mat img = imread(imageFile);
	if (img.empty()) {
		cout << "Can't read image from file: " << imageFile << endl;
		return 2;
	}

	// fixed input size for the pretrained network
	const int W_in = 224;
	const int H_in = 224;
	Net net = dnn::readNetFromCaffe(modelTxt, modelBin);
	if (useOpenCL)
		net.setPreferableTarget(DNN_TARGET_OPENCL);

	// 设置训练得到的参数数据
	int sz[] = { 2, 313, 1, 1 };
	const Mat pts_in_hull(4, sz, CV_32F, hull_pts);
	Ptr<dnn::Layer> class8_ab = net.getLayer("class8_ab");
	class8_ab->blobs.emplace_back(pts_in_hull);
	Ptr<dnn::Layer> conv8_313_rh = net.getLayer("conv8_313_rh");
	conv8_313_rh->blobs.emplace_back(Mat(1, 313, CV_32F, Scalar(2.606)));

	// 提取L通道灰度图，并均值化
	Mat lab, L, input;
	img.convertTo(img, CV_32F, 1.0 / 255);
	cvtColor(img, lab, COLOR_BGR2Lab);
	extractChannel(lab, L, 0);
	resize(L, input, Size(W_in, H_in));
	input -= 50;

	// L通道图像输入到网络，前向计算
	Mat inputBlob = blobFromImage(input);
	net.setInput(inputBlob);
	Mat result = net.forward();
	
	// 从网络输出中提取得到的a,b通道
	Size siz(result.size[2], result.size[3]);
	Mat a = Mat(siz, CV_32F, result.ptr(0, 0));
	Mat b = Mat(siz, CV_32F, result.ptr(0, 1));
	resize(a, a, img.size());
	resize(b, b, img.size());

	// 通道合并转换成彩色图
	Mat color, chn[] = { L, a, b };
	merge(chn, 3, lab);
	cvtColor(lab, color, COLOR_Lab2BGR);

	// 结果展示    --bug opencv4.0.0只能显示CV_8UC(*)图像，需转换后imshow
	color.convertTo(color, CV_8U,255.);  
	imshow("color", color);

	Mat(L+50).convertTo(L, CV_8U);
	imshow("L", L);
	
	img.convertTo(img, CV_8U,255.); 
	imshow("original", img);
	
	waitKey();
	return 0;
}

三、演示

在这里插入图片描述
在这里插入图片描述
下面这个图的颜色风格训练集中没覆盖吧? -_-
在这里插入图片描述

使用OpenCV的dnn模块重新着色灰度图像的实例
Meta_C的博客
08-14 202
然后定义了两个函数，一个是用于将输入调整为Caffe模型所需格式的preprocess函数，另一个是用于将输出调整到正确颜色空间的postprocess函数。我们还定义了要处理的输入图像，并将其预处理为Caffe模型所需的格式。最后，我们将输出转换到正确的颜色空间，并将其后处理为RGB图像，最后展示了结果。在这个实例中，我们将使用Caffe模型来训练我们的神经网络，此模型是基于ILSVRC-2012数据集中的场景分类模型而构建的。现在，我们已经完成了使用OpenCV的dnn模块重新着色灰度图像的实例。
使用OpenCV进行灰度图像重新着色的示例
SVIPCODE的博客
09-12 212
在计算机视觉和图像处理领域，OpenCV是一个广泛使用的开源库，提供了许多用于处理图像和视频的功能。其中之一是dnn（深度神经网络）模块，它允许我们使用预训练的深度学习模型来执行各种任务，包括图像着色。在上面的代码中，我们首先将模型的输出reshape为合适的形状，并调整为与原始灰度图像相同的尺寸。接下来，我们将加载要重新着色的灰度图像，并为其准备输入。函数加载了灰度图像，并将其调整为模型的输入尺寸（这里假设模型需要224x224的输入）。现在，我们可以将预处理后的输入传递给模型，并获取模型的输出。
基于OpenCV深度学习模块，实现黑白老照片上色的编程
2301_79331328的博客
09-15 273
在上述代码中，我们首先加载了预训练的神经网络模型，然后读取了待上色的黑白照片。确保将"colorization_release_v2.caffemodel"文件和对应的模型配置文件"colorization_deploy_v2.prototxt"放在正确的路径下，并在代码中指定正确的路径。确保将"colorization_release_v2.caffemodel"文件和对应的模型配置文件"colorization_deploy_v2.prototxt"放在正确的路径下，并在代码中指定正确的路径。
opencv将灰度图转为彩色图
热门推荐
u013925378的博客
11-02 5万+
使用opencv将一幅灰度图转为彩色图。 使用函数：cvtColor();     Mat imgGray= imread("gray.jpg",0);     Mat imgRGB;     cvtColor(imgGray, imgRGB, COLOR_GRAY2RGB); 说明：输入图像gray.jpg是单通道，8bit图像。   如此简单的过程，还折腾了一会，主要原因是： 刚开...
OpenCV4学习笔记（67）——dnn模块之基于colorization模型实现图像自动上色
邱小兵的博客
05-16 1184
本次要整理记录的内容是利用colorization模型来将灰度图像转换为彩色图像。colorization模型是利用Lab色彩空间的L（亮度）通道来预测a、b两个通道的值，也就是说当我们手里有一张灰度图像的时候，可以利用colorization模型对这张灰度图像的亮度值进行预测，从而得到a、b两个通道的值，并将L、a、b三通道合并后得到一个彩色化的图像。 这里使用了Lab色彩空间，我们需要先对其有一定的了解： Lab色彩空间是基于数据驱动对人类感觉的研究，它假设人类的视觉系统理想地适应自然景色的处理，由亮度
基于OpenCV+DNN的灰度图像自动彩色化代码（含Python代码+模型文件）
06-28
基于OpenCV+DNN的灰度图像自动彩色化代码（含Python代码+模型文件），基于“Colorful Image Colorization”论文中的深度学习模型，可传入一张灰度图实现自动上色，模型文件已经添加到资源包中。
opencv dnn完整示例
jacke121的专栏
02-27 1468
python 导出onnx： weights = 'xxxx.pth' model_cls= Model_net(model_path=weights, num_classes=2) state_dict = torch.load(weights) model_cls.load_state_dict(state_dict) model_cls.eval() dummy_input1 = torch.randn(1, 3, 64, 64) o..
深度学习之OpenCV的DNN模块
图灵追幕者博客录
07-04 1810
OpenCV的DNN模块提供以下主要功能：1.加载和运行深度学习模型：支持从各种框架导入预训练的深度学习模型，并在OpenCV中执行推理。2.图像预处理和后处理：提供了多种图像预处理和后处理功能，如图像缩放、归一化、颜色转换、非极大值抑制等。3.支持多种硬件加速：支持使用CPU、GPU（通过OpenCL和CUDA）、Intel的Inference Engine等进行硬件加速。4.易于集成：与OpenCV的其他模块无缝集成，便于在计算机视觉项目中使用。
《OpenCV计算机视觉》—— 使用DNN模块实现图片风格迁移
最新发布
weixin_73504499的博客
10-15 1583
使用DNN模块实现图片风格迁移
用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明.zip
05-02
用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明.zip用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明.zip用opencv的dnn模块实现Yolo-Fastest的目标检测python源码+模型+说明....
colorization_using_optimization:使用优化算法着色的 Python 实现
07-14
使用优化着色 算法的python实现 安装 安装 python 模块所需的基本包 gfortran libblas-dev liblapack-dev libsuitesparse-dev python-numpy pip 安装 python 模块 scipy scikits-image scikits.sparse scikits.learn
灰度人脸着色代码文件（本科毕业论文）.rar
08-18
灰度人脸着色代码文件（本科毕业论文）.rar
【python】OpenCV—Image Colorization
bryant_meng
08-05 1894
参考文章为了简化计算，Lab 颜色空间的 ab 空间被量化为 313 个 bin，如下图所示。而不是为每个像素找到 a 和 b 值，因为这种量化，我们只需要找到一个介于 0 和 312之间的 bin 编号。另一种思考问题的方式是我们已经有了取值从 0 到 255 的 L 通道，我们需要找到取值在 0 到 312 之间的 ab 通道。所以颜色预测任务现在是变成了多分类问题，其中每个灰色像素有 313 个类别可供选择。
OpenCV自带dnn的Example研究（2）— colorization
weixin_30687051的博客
04-27 370
这个博客系列，简单来说，今天我们就是要研究6个文件，看看在最新的OpenCV中，它们是如何发挥作用的。在配置使用的过程中，需要注意使用较高版本的VS避免编译器兼容问题；由于DNN程序的运行依赖于训练成功的模型，因此需要预先下载准备；此外如果出现各种报错，需要对症下药。此外，由于需要使用common.hpp文件，所以需要引入dnn目录到include中========================...
OpenCV模块解析与构架图
松子茶的专栏
11-11 5343
本节主要介绍OpenCV中C语言版(OpenCV2.0以下)和C++语言版各模块功能，以及构架图。在windows下较低版本(2.0以下)的OpenCV中包含此模块，一般用于处理和操作摄像头和视频流的跨平台模块，在windows下 被封装成.dll动态链接库，在Linux中被以so(共享库，和动态链接库类似)的形式使用。 opencv_core模块,其中包括库中核心函数结构，特别是基础的数据结构和算术函数。opencv_imgproc模块，包含图像处理函数。opencv_highgui模块，包含读写图
【01】OpenCV模块架构介绍+示例程序演示
小浪宝宝的博客
03-12 1071
calib3d：此模块名称由calbration（校准）和3D两部分缩写而成。顾名思义，该模块主要包含相机标定与立体视觉等功能，例如物体位姿估计、三位重建、摄像头标定等。core：核心功能模块。这个模块主要包含OpenCV库的基础结构以及基础操作，例如OpenCV基础数据结构、绘图函数、数组操作相关函数、动态数据结构等。dnn：深度学习模块。主要包括构建和修改神经网络、加载序列化网络模型等。该模块功能仅用于前向传递计算（即测试网络），原则上不支持网络训练。features2d。
OpenCV使用dnn重新着色灰度图像的实例(附完整代码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
04-26 439
OpenCV使用dnn重新着色灰度图像的实例OpenCV使用dnn重新着色灰度图像的实例 OpenCV使用dnn重新着色灰度图像的实例 #include <opencv2/dnn.hpp> #include <opencv2/imgproc.hpp> #include <opencv2/highgui.hpp> #include <iostream> using namespace cv; using namespace cv::dnn; using name
opencv遍历实现灰度图转伪彩色图[C/C++][附applyColorMap方法]
TWENTYY'sBlog
01-10 2813
灰度图转伪彩色图 数字图像处理的作业，利用opencv实现通过灰度隐射将灰度图转化为伪彩色图。 效果大概如下，在最后附带opencv自带函数处理的方法 原图 遍历图 opencv的 applyColorMap 函数处理图像 1. 原理 根据色彩学方面的研究结果，将灰度图像对应到red , green , blue三个通道上，最后将三个通道的颜色值合成为需要显示的RGB颜色值即可。灰度值与三个通道的映射关系如下 粗略的分为四个区间，分别对rgb三种颜色对应的灰度进行映射。再简单的调一下参数使其更加
OPENCV例子opencv-4.5.5\samples\dnn\colorization.cpp的代码分析
qqq9668的博客
04-07 2984
此示例演示了使用 dnn 重新着色灰度图像，该程序基于http://richzhang.github.io/colorization和https://github.com/richzhang/colorization。 示例main函数调用情况如下： 示例main函数流程图情况如下： 示例main函数UML逻辑图情况如下： 示例源代码如下： // This file is part of OpenCV project. // It is subject to the...
OpenCV+DNN实现灰度图像彩色化教程与代码
资源摘要信息: "本资源包含了使用OpenCV库中的深度神经网络模块（DNN）实现灰度图像自动彩色化的Python代码以及所需模型文件。该方法基于“Colorful Image Colorization”论文中提出的深度学习模型，用户可以输入...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

aworkholic

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值