qq_42261630的博客

原创 ISP（图像信号处理）之3A算法

一、关于高通平台AEC调试的几点认识平台通过I2C来下发控制命令，然后sensor相应以后输出相应的MIPI数据，然后平台检测输出的数据以后开始处理帧数据。平台对于sensor的交互控制只做三件事：sensor初始化寄存器的配置，sensorAE信息的下发以及帧数据的校验。平台在获取到sensor的帧数据以后，会逐步的过ISP的各个算法，在AEC的统计计算以后，平台会针对于当前的帧数据以及调试的参数会生生成新的exposure与gain，然后下发给sensor，使sensor在后续的出帧中...

转载 ISP（图像信号处理）之Bayer Raw 简介

ISP（图像信号处理）之Bayer Raw 简介浏览很多博客之后从各个博主处得到的全方位理解，一一列出来，用于从不同方向理解Bayer。拜耳阵列是实现CCD 或CMOS 传感器拍摄彩色图像的主要技术之一。它是一个4×4阵列，由8个绿色、4个蓝色和4个红色像素组成，在将灰度图形转换为彩色图片时会以2×2矩阵进行9次运算，最后生成一幅彩色图形。RAW DATA，可以理解为：RAW图像就是CMO...

转载 ISP（图像信号处理）学习笔记

概念ISP(Image Signal Processor)，即图像信号处理器。DSP（Data Signal Processor），即数字信号处理器ISP的主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。ISP一般用来处理Image Sensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控...

原创 基于python 的opencv 使用GrabCut算法分割图像代码

运行完成后要点figure1中右边第三个图标才能显示分割后的图片。

原创 NV12格式的图片转换成RGB格式的代码

首先nv12格式是yuv的一种，yuv格式根据不同的采样形式和不同的存储形式分为以下三种yuv采样格式YUV 4:4:4 采样每个 Y 分量对应一组 UV 分量YUV 4:2:2 采样YUV 4:2:2 采样规定了 Y 和 UV 分量按照 2: 1 的比例采样，两个 Y 分量公用一组 UV 分量YUV 4:2:0 采样每四个 Y 分量共享一组 UV 分量参考上述博客详细分类了yuv的格式。

原创 BP神经网络——学习笔记

前面关于GAN生成对抗网络的学习过程中发现不论是生成网络还是判别网络在训练(优化)过程中都是需要损失函数，该函数就是利用来实现参数的调整，从而不断提高生成网络和判别网络的性能。其中误差反向传播就用到了算法，所以需要学习该算法的原理。经过大量查找相关资料，发现一些优秀的博客内容如下。

原创 生成对抗网络GAN——学习笔记

在损失函数这里有一个重要概念：交叉熵。

原创 python OpenGL绘制正八面体代码

学习OpenGL过程中，先从绘制三角形开始逐渐对Opengl有一些了解，到现在进阶到绘制立方体。通过借鉴网友绘制六面体得到灵感，改了一下他的代码成功绘制出正八面体。不管是绘制三角形还是绘制立方体，对于空间坐标系要相当熟悉，因为每一个顶点都是基于空间坐标系建立的。其次对于glbegin函数要有一些了解，知道该怎么使用该函数。剩下的进一步需要了解的函数见代码。

原创 py Qt5学习记录

（1）在Qt5界面右下角有个“动作编辑器”，点击后新建如下图所示，新建完成以后鼠标选中拖到新建好的工具栏中。1. from third import Ui_MainWindow # 导入图像界面设计文件-------其中third是你保存的ui文件的名称。（2）添加信号连接线可参考上述博客内容，新建函数openfile()(4)将ui转化成py文件，其中py内容如下zuiho。第三文件路径必须要写对，单引号，\都要注意，否则运行不出来。2.使用了ui中新建的函数openfile()2.Qt5的界面显示。

原创 关于VTK与OpenGL的学习

原创 CCM的作用、原理以及调试方法学习

RGB图像多光谱图像高光谱图像

原创 关于camera的OTP/EEPROM的学习

转载一篇博客：OTP/EEPROM 读取与处理_camera otp的值全为0-优快云博客OTP的作用是什么？_get_soc_otp代码意思-优快云博客关于摄像头模组中OTP配置概述_otp烧录的信息包括_木 东的博客-优快云博客【OTP入门指南】_otp编程_千北@的博客-优快云博客

原创 camera 硬件基本知识

2.DSP：数字图像信号处理器，DSP 控制芯片的作用是：将感光芯片获取的数据及时快速地传到 baseband(基带) 中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质（比如色彩饱和度、清晰度）与流畅度。3.I2C：BB(基带)与Sensor端通过I2C来通信（读写寄存器），包括SCL（I2C Clock）时钟线和 SDA（I2C Data）串行数据线。camera包含的三路电压为模拟电压（VCAMA），数字电压（VCAMD），IO口电压（VCAMIO）一般是低电平有效，当脉冲为低电平时，

原创 Tone mapping curve（色调映射曲线）与gamma 曲线的区别与联系

Tone mapping curve（色调映射曲线）与gamma 曲线的区别与联系

转载 关于lens的一些参数的意义解释

认识lense

原创 关于相机景深学习笔记

景深的概念与焦深的概念

原创 关于SQL语言的基本学习

SQL语句学习及应用

原创 MATLAB关于VIF视觉保真度的代码

MATLAB关于VIF视觉保真度的代码

原创 MATLAB批量求图片均值、相对标准差、平均梯度、信息熵的代码

MATLAB批量处理某一文件夹下的图片，并求其信息熵

原创 关于HDR的学习笔记

关于HDR的学习笔记，HDR分为sensorHDR和imageHDR

原创 关于sensor sensitivity的学习

sensor性能

原创 图像的匹配、配准、融合、拼接等概念的区别

名词区分

原创 MTK平台camera相关配置文件学习

原创 图像配准(image registration)与图像融合(image fusion)

在ISP多帧图像降噪过程中第一步就是对采集到的n帧图像进行帧间配准，然后根据各帧的像素值进行时域噪声判断。正确的配准是准确判断时域噪声的关键，否则会因为误判造成去噪过多或去噪不够的问题。而且帧间配准出现问题会导致图像简单叠加融合时出现重影现象。图像配准是图像融合的基础操作。1.图像配准1.1图像配准的概念1.2图像配准的方法及分类1.3图像配准的流程1.4举例代码2.图像融合2.1 图像融合的概念2.2 图像融合的方法及分类2.3 简单图像融合的举例代码...

原创 小波学习笔记（相关性去噪）

信号小波系数的上下层之间有强相关性，而噪声没有这种相关性。相关性去噪的原理就是基于这种相关性的。相关性去噪原理为比较每一层每一个位置的归一化的相关系数，从相关性的大小判断是信号还是噪声控制的点。具体步骤为：1.给定分解层数M，选取小波函数，计算带噪信号的每一层的小波系数2.比较和，判断若,则认为大相关量对应信号的特征，取=，置=0；若，则认为点K处的小波系数由噪声控制，保留，置=03.在每一个尺度上重新计算4.重复上面的过程5.所取中各对应由信号控制的点，而中点全部对应.

原创 信息熵(entropy)以及图像信息熵的理解

关于信息熵，参考以下博文内容进行了理解：https://blog.youkuaiyun.com/saltriver/article/details/53056816https://y1ran.blog.youkuaiyun.com/article/details/80559531

原创 sensor的高像素和大像素优劣分析

CMOS sensor的光电转换器称为像素，按照矩阵的方式排列。高像素是指在相同面积的sensor上排列的像素个数很多，大像素是指在相同面积的sensor上单个像素所占的面积比大。高像素优势：由于分辨率更高，对于可放大尺寸的图像来说，清晰度高。大像素优势：由于单个像素所占面积大，接受的光通量越多，亮度增强，适合大的动态范围拍照，包括黑夜拍照、阳光下更清晰。https://baijiahao.baidu.com/s?id=1673969980768676820&wfr=spider&a

原创 小波学习笔记——阈值去噪法

阈值去噪法是指首先对含噪信号进行小波分解，对小波系数进行阈值处理，即对于大于（或小于）某阈值的小波系数进行处理，再利用处理后的结构重构原信号。其中最关键的是阈值函数的选取和阈值T的估计有三种方法：法一：小波变换后，在小尺度上具有较高的中心频率，因此小尺度的变换值集中反映了信号高频部分的能量，基于此来估计噪声方差。法二：用前两个尺度的小波系数相乘得到修正的小波系数，进而估计噪声方差。法三：图像中噪声方差的估计，平坦的地方进行统计噪声方差。噪声的模拟，可以采用高斯噪声，或者均匀噪声、椒盐噪声

原创 小波学习笔记——模极大值去噪

模极大值去噪算法步骤：1.对含噪信号进行尺度为,J=1,2,......,J的小波变换，并求出每个尺度上变换系数的模极大值。2.从最大尺度开始，确定一个阈值T，把该尺度上模极大值小于T的极值点去掉，保留其他的，得到最大尺度上的一组新的模极大值点。3.作出尺度函数j=J上保留的每个极大值点的一个邻域，如N(t,s),在J-1尺度上找出与邻域，在J-1尺度上找出与邻域N(t,s)内的极值点相对应的传播点（极值点），保留这些极值点，去掉其他极值点，从而得到j-1尺度上的一组新极值点。4.置j=j-

原创 sensor driver学习笔记

以前听前辈讲过一部分，现在通过阅读高通文档又补充了一部分内容，在此记录，防止遗忘。也分享给需要的朋友们。

原创 小波学习笔记(图像的分解与重构)——MATLAB

MATLAB实现图像的分解和重构命令有两种：第一种是一层小波分解dwt2[CA,CH,CV,CD]=dwt2(X,'wname');其中，dwt2表示离散小波变换；X为输入参数，是图像；'wname'是小波名字；输出变量CA为低低频分解信息，刻画原始图像的逼近信息；CH为低高频分解信息，刻画原始图像的横向细节；CV为高低频分解信息，刻画原始图像的垂直细节；CD为高高频分解信息，刻画原始图像的对角线上的细节。[CA,CH,CV,CD]=dwt2(X,Lo_D,Hi_D);输入参数还可以是低

原创 小波学习笔记（信号分解与重构）——MATLAB

一维信号分解命令：idwt，其实现原理为Mallat算法%----------Mallat算法和重构算法实现与MATLAB自带函数进行对比---------------%[Lo_D,Hi_D,Lo_R,Hi_R]=wfilters('db3');h=Lo_D;%hn=dbfilter(3);%A=-1.*ones(1.length(hn));%B=cumprod(A);%累计积实现了(-1)^n的操作%gn=(-1).*B.*fliplr(hn);%fliplr命令使低通滤波器反序，即实现

原创 小波学习笔记——MATLAB

使用MATLAB进行小波的学习，学习小波分解、小波重构、尺度函数、小波函数等实现过程1.db3小波器的提取2.对一维信号进行小波滤波3.对图片进行小波滤波4.自己构建dbN小波滤波器5.用Cascade算法求解db4尺度函数和小波函数详细过程如下代码所示：所调用的function函数见最后clc,clear all;close allload sumsin.mat[LOD,HID,LOR,HIR]=wfilters('db3');%db3小波滤波器的提取figure,s

原创 MATLAB——Gabor变换实现过程及代码

Gabor变换也叫窗口傅里叶变换对于给定的常数a,b,称为在窗口函数g下的Gabor变换。窗口函数一般是具有紧支集或者速降为零的函数，常用的窗口函数有三个：对于已知的分段线性函数如下，求其Gabor变换的频谱代码如下：该过程分为两步：首先有一个Gb_fun子函数，输入变量a为窗口控制参数，b为平移参数，x为函数变量，输出变量为原始信号fun与窗口函数g的乘积function gy=Gb_fun(a,b,c,x)x=-5:0.2:10;a=1;%高斯窗口函..

原创 真彩图像、索引图像、灰度图像、二值图像的区别以及使用MATLAB对其相互转换

参考博客：https://www.sohu.com/a/50526196_196473https://blog.youkuaiyun.com/weixin_42859280/article/details/93186605彩色图像可以转换为灰度图像，灰度图像可以转换成二值图像彩色图像可以转换成索引图像，索引图像可以转换成灰度图像，灰度图像可以转换成二值图像索引图像可以直接转换成彩色图像，灰度图像不可以直接转换成彩色图像转换语句以及转换关系如下图所示：彩色图像（真彩图像），每个像素通常是由

原创 MATLAB读取10bit的raw格式图片代码

从手机里读出来的图片大小为4000*3000，数据存储格式为RAW格式，即为10bit存储的二进制数据，大小为4000*3000，将其使用MATLAB读出来，代码如下所示，并显示成图片为如下所示clc,close all,clear allrow=4000;col=3000;filename='E:\C++project test\Wavelet_denoise\分辨率.raw';fid=fopen(filename,'r');A=fread(fid,[row col],'bit10');A

原创 镜头中普通模组与golden模组之间的区别与联系

学习了以下博客的内容，并总结归纳出了普通模组与golden模组之间的区别与联系，如下图所示。https://blog.youkuaiyun.com/agwtpcbox/article/details/56677122该博客内容为：摄像头模组的生产加工过程实际上是各个功能物料堆积组合的过程，由上至下大概可以参考下面的示意图：由于模组摄像头的这个堆叠过程中需要用到不同功能的单体物料，每个单体物料之间又不能保证有良好的一致性，所以需要使用OTP这样的手段来综合成品模组之间的差异性。通过将各个单体模组放

原创 运动模糊复原(DMBR)学习笔记

运动模糊产生的原因：如果相机或拍摄对象在曝光期间移动，则生成的照片或视频将显得模糊。因为手机拍照曝光过程中。捕捉画面并不是在瞬间完成的，而是在一个极短的“时间段”，这和快门时间有关，如果相对运动过快，或者抖动出现恰好在捕捉画面的“时间段”，拍摄照片就会出现模糊现象。在录像中经常出现类似的情况。运动模糊算法：DMBR算法函数为：dmbr_aec_calculate(port,&aecCalculate);位于aec_port.c文件中被调用。实现运动模糊复原的算法.

原创 图像中出现的“鬼影”和“重影”区分

对于图像中出现的两个概念“鬼影”和“重影”傻傻分不清楚，错把“重影”当成“鬼影”，闹出了笑话。现在就通过百度以及博客浏览等方式把“伪像”、“鬼影”和“重影”这三个概念以及区别搞清楚，并尽量附上该现象的图。1.伪像DXO评测中有一项是伪像测试，包括取景框中的画面柔和度、失真、渐晕、色差、振铃、闪光、重影、锯齿、摩尔纹等内容。伪像测试用于评估相机镜头或者CMOS在处理图像中引入的失真和其他缺陷时的严重程度。这个测试包含的数据和内容很多，包括清晰度对比、特殊场景测试以及比较重要的运动场景测试等。伪像测试重

原创 analog_gain(模拟增益) 与digital_gain(数字增益)的区别与联系

在isp流程中有自动曝光(AEC),自动曝光可以可以通过调节 模拟增益，数字增益，曝光时间，光圈大小来调剂曝光，其中对于模拟增益和数字增益的区别为：模拟增益是由硬件实现的，数字增益是通过isp平台可以人为加进去的，对于两个增益带来的噪声区别，通过阅读如下博客内容参考博客：https://camera-zhang-alin.blog.youkuaiyun.com/article/details/105475608模拟增益(analog_gain)带来的噪声用数据来说明：2.4和3.1，数字量化后为2.