
ISP+NPU
文章平均质量分 83
生活需要深度
这个作者很懒,什么都没留下…
展开
-
ISP(图像信号处理)学习笔记
ISP的主要内部构成:ISP内部包含 CPU、SUP IP(各种功能模块的通称)、IF 等设备ISP的控制结构:1、ISP逻辑 2、运行在其上的firmwareISP上的Firmware包含三部分:AP对ISP的操控方式:外置:I2C/SPI。原创 2024-07-15 15:29:32 · 3631 阅读 · 0 评论 -
ISP调试工程师相关面试问题_001
分析:查看log拍照过程中flashmode设置正确,takepicture之前和之后分别加log打印mFlashNeeded值,显示拍照之前该值为0,拍照过程中该值变成1,查看相关代码,mFlashNeeded是在metadata callback中从AE中获取的,而获取值和拍照在两个不同的线程中完成的,两个线程会出现同步不上的情况,所以会引起这个问题.。需要注意的是,具体的实现方法和步骤可能因设备和应用场景的不同而有所差异,上述的解释是一般性的概念和原则,具体实现还需要根据具体情况进行设计和调整。原创 2024-07-03 17:33:42 · 826 阅读 · 0 评论 -
ISP数字图像处理工程师相关面试问题_002
解决办法: 因为设置某些**sensor寄存器**的时候,会影响到这些**水平条纹的颜色**,所以基本上排除是在数据传输过程中板子对数据造成的干扰,也排除接触不良的可能性,应该是数据在sensor内部已经存在这些水平条纹。排查:直接从驱动搜索**sensor_fill_exposure_array**接口**下发**的参数中的**gain值和fl_line值**,从实际设入sensor的参数来判断是由于**iso的设定还是帧率**的设定导致变暗的问题.。首先,进行去噪处理,以减少图像中的噪点和噪声。原创 2024-07-03 17:33:04 · 721 阅读 · 0 评论 -
Camera HAL/ISP 专业术语大全
水平方向Binning是将相邻的行的电荷加在一起读出,而垂直方向Binning是将相邻的列的电荷加在一起读出,Binning这一技术的优点是能将几个像素联合起来作为一个像素使用,提高输出速度,降低分辨率,当行和列同时采用Binning时,图像的纵横比并不改变,当采用2:2Binning,图像的解析度将变为1/4。PDAF,Phase Detection AutoFocus,相位对焦,传统的对焦方式是利用对比度来判断图像的清晰度,但在快速移动的对象或低光条件下,对比度对焦会变得较慢或无法准确对焦。原创 2024-07-03 17:30:40 · 1115 阅读 · 0 评论 -
ISP Pipeline典型场景要点SAT、Bokeh、MFNR、HDR
master sensor和slave sensor分别连接的FE0和FE1会输出SAT专用小Y图给CVE计算SAT H matrix(或者Match result加两路Y),作用于PE的EIS warp模块,将main图的FOV对齐到slave图。当然,这与SAT关系不大,而是预览正常处理。FE接受来自sensor的2DOL图像(Ev0和Ev-),CVE分时读取Ev0长曝光图像和Ev-短曝光图像,求取特征点(FTPT),根据特征点进行match,输出H矩阵,传给BE的HDR warp。原创 2024-03-06 16:38:15 · 962 阅读 · 0 评论 -
计算摄影学目录
甚至产生了很多误解和争论。我觉得要对相关问题有一个准确的认识,咱们得先大体搞懂什么是。希望我这个专栏能够帮助到大家~另外我看很多人在询问。原创 2023-12-19 18:58:34 · 1055 阅读 · 0 评论 -
计算摄影学及本专栏介绍
恰好出于实际做产品的需要,相比纯算法研究人员,我对培养、指导有工程背景的人才更感兴趣. 在我的领导兼挚友谢边的建议和支持下,我在公司组织了大规模的计算摄影学课程学习,除了公司内专门做图像视觉算法的同事,很多非算法同事,甚至非研发同事都参与了此课程的学习,取得了不错的成果。我很希望能够将这些有用的基础性的知识传递给更多的人,因此,我申请了这个专栏,希望能够以国外著名大学的计算摄影学课程讲义为基础,再加上自己对其中所讲述的内容的Python Notebook仿真,来撰写一系列的文章。跟传统的摄影有什么区别?原创 2023-12-19 18:49:09 · 1040 阅读 · 0 评论 -
Deep Joint Demosaicking and Denoising
Abstract去马赛克和去噪是数字成像流程的关键第一阶段,但它们也是一个严重不适定的问题,从单个噪声测量中推断出每个像素的三个颜色值。早期的方法依赖于手工制作的滤波器或先验,并且在硬情况下(例如摩尔纹或薄边缘)仍然表现出令人不安的视觉伪影。我们引入了一种新的数据驱动方法来应对这些挑战:我们在大型图像语料库上训练深度神经网络,而不是使用手动调整的滤波器。虽然深度学习已经取得了巨大的成功,但其使用现有训练数据集的简单应用并不能为我们的问题提供令人满意的结果,因为这些数据集缺乏困难的案例。为了创建更好的训练集原创 2023-12-19 16:58:42 · 486 阅读 · 0 评论 -
超分辨率入门综述!(浅析)
未来在超分领域的改进方向,可以包括提出更复杂的损失函数;实现任意的超分辨率构建;提升性能的同时,追求轻量化;多种网络模块的有效组合;如何降低数据集图片质量,如盲超分技术来解决未知退化模型问题。另外,无监督的超分技术、多模态的超分技术、特殊领域与真实场景的超分技术也是一个大坑,需要更多的研究来探索其中的奥秘。总的来说,超分的用处还是很大的,需要我们不断的努力。(想不出其他高大上的词语了@ 'ェ' @)完结撒花~阿布的足迹北京理工大学 软件工程硕士在读843 次赞同去咨询更多内容,欢迎访问。原创 2023-12-19 15:47:10 · 2651 阅读 · 0 评论 -
Camera2开发基础知识篇——手机影像参数
这段时间刚入职,导师安排任务做Camera2开发,用于集成一些图像处理算法。当被问及拍照流程以及HDR算法相关知识时,发觉还很欠缺,所以写篇文章记录下。原创 2023-12-15 18:17:47 · 1437 阅读 · 0 评论 -
基于AI的ISP(图像信号处理)相关研究
文主要为阅读ICCV 2023 一篇Tutorial的笔记(Part 3):第三部分主要是基于AI(主要是基于深度学习)的去替代传统ISP流程中的某些环节,或者尝试直接代替传统ISP整个流程的一些研究现状以及面临的问题。原创 2023-12-15 17:54:18 · 4146 阅读 · 0 评论 -
相机图像信号处理流程(ISP)
但是其实相机捕捉到的实际光信号是不会因ISO变化而改变的,受限于光圈大小和Sensor曝光时间(快门时间),调整ISO本质上是调整传感器对得到的光信号的放大倍数,而在放大这个信号的同时,噪声也被放大了,就出现了前面提到的现象。Sensor最终的值是光强和曝光时间的线性函数,结合前面的人眼的敏感曲线,这个阶段其实是对真实世界的光辐射的一个捕捉,并没有结合人眼特性去处理。即前面提到的,由于CMOS的RGB采集像素是分布不均匀的,需要通过插值去进行补偿,使得最终得到的每个Pixel都有RGB三个通道的值。原创 2023-12-15 17:51:59 · 764 阅读 · 0 评论 -
色彩、色彩恒常性、色温、色彩空间—相关知识
大多数情况下,自然界的物体不发光,而是去反射环境的光,这就导致其实在不同光照条件下其实他们反射的SPD是不一样的,例如文章里面的例子,在不同光照条件下西红柿反射SPD是有很大差别的,但是人看来颜色没有太大的差比,这是人独有颜色补偿机制,这种现象也叫做色彩恒常性。这个现象其实和相机的白平衡相关,我们人类其实有很强的“自动白平衡”能力,但是机器是没有的需要通过算法去进行白平衡,这就导致很多情况下如果白平衡做的不是很好,拍出的相片的色温和实际观察到的有差距。即按照系数去混合RGB就可以达到目标波段光的颜色。原创 2023-12-15 17:50:13 · 782 阅读 · 0 评论 -
手机版Lightroom使用详解,被公认的专业修图软件究竟有多强大?
Lightroom软件安装 绿色资源网 轻松三步教你下载安卓手机版LR❶打开百度,输入adobe lightroom mobile❷点击第二个❸点击【立即下载】关于Snapseed和VSCO系列教程暂告一段落,偷懒了好几天,看到留言说该出Lightroom教程了。讲之前先给大家分享我最近发现的一款更好的修图软件,下面我会简单介绍它拥有的功能及部分功能的操作步骤和特点。这款软件在各大应用商店都可找到并下载,占的内存不会很多,在手机不是彻底卡机的状态下,都可正常流畅的使用。原创 2023-12-15 15:49:55 · 4868 阅读 · 0 评论 -
玩转手机摄影
手机摄影原创 2023-12-14 14:51:29 · 103 阅读 · 0 评论