图像学习之旅

原创 工作杂谈（十八）——告辞信（离开第一份工作）

0.感谢作为一个刚毕业的双非本科应届生，我当时找工作跑了不少社招，也被很多HR嫌弃过。刚开始的时候是和同学们一起跑的，有的人跑着跑着就放弃了，直接走了校招的招聘。除了一些真的很优秀的同学进到了不错的公司和岗位外，大部分人都去了像富士康这种，前几天还有一个去了富士康同学打电话跟我抱怨，后面就剩我自己再跑了，我已经记不清自己投了多少简历，才去了自己这份工作。感谢自己的坚持，也感谢公司给了我工作...

原创 yolo标注、数据集制作、训练部署

训练集（Training Dataset）训练集（Training Dataset）是用来训练模型使用的。验证集（Validation Dataset）当我们的模型训练好之后，我们并不知道他的表现如何。这个时候就可以使用验证集（Validation Dataset）来看看模型在新数据（验证集和测试集是不同的数据）上的表现如何。同时通过调整超参数，让模型处于最好的状态。验证集不像训练集和测试集，它是非必需的。如果不需要调整超参数，就可以不使用验证集，直接用测试集来评估效果。

原创 如何选取深度学习算法和soc平台

这一阶段最重要黄金法则就是以时间成本和最低投入去进行初步试错，在样本阶段通过试错的方法来横向对比，我们之前研发的时候，其实就想着一次性到位，事实证明完全达不到一次性到位的。在研发起步阶段，以多种方案备选，并轨试错的方法进行，在打样阶段基本上我们就可以对各个算法的优缺点，各家soc平台性能，以及每套方案的成本和利润空间有个大致了解，通过横向对比得到一个相对best的方案。我们在无人机鱼眼第二代方案的起步阶段研发的时候就犯过错误，让soc和算法分开让不同的人调研，最后性能远远达不到最开始规划的整体理想预期。

原创 鱼眼镜头需要考虑color shading吗

这是我在地平线x5上调试的点亮的鱼眼模组，我把isp中的LSC关掉后，并没有出现可见的color shading现象。而我在高通平台上，会出现边缘暗处偏绿（我觉得可能是黑电平、AWB/CCM导致的），这几天也在疯狂debug找原因。

原创 Qualcomm Spectra 780 ISP 算法详解（agent总结）

Qualcomm 具体实现通常包含定点化、LUT、噪声归一化、软阈值、空间掩膜和模式分支，不能直接把公式参数当作 XML 参数。其中 offset/gain 通过 DRC gain、曝光灵敏度比、LED index、gain、CCT 多维 trigger 取值。权重来自 focus measure confidence、场景亮度、face mask、motion 和模式配置。实际 AWB 还会受 face、sky、green、depth、spectral sensor 和 NN/ML 修正影响。

原创 sensor出图后画面有横条纹的原因

原创 搞懂RT-MonSter++的双目深度估计原理只看这一篇就够了

RT-MonSter++是基于CVPR 2025 Highlight论文《MonSter: Marry Monodepth to Stereo Unleashes Power》的轻量级实时版本。该项目通过创新的架构设计，将单目深度估计的全局理解能力与立体匹配的精确几何约束相结合，在保持高精度的同时实现了实时推理速度。这个立体视觉模型的核心优势在于它能够有效处理传统立体匹配方法难以应对的挑战区域，如弱纹理区域、重复纹理和精细结构等。

原创 用于分析NPU部署精度掉点指标介绍

NPU 精度掉点分析中常用的参数可以按“数值误差类”“分布/相似度类”“任务级指标”“敏感度定位指标”来划分。

原创 深度学习模型部署时候的感知量化

量化（quantization）是模型压缩的一种常用方法，通常情况下可以使用不同的量化策略，将深度学习模型参数与运算的精度从浮点数（FP32）降低至较低的精度，如INT8，一方面可以提升模型在cpu/gpu等硬件的推理计算效率，减少计算成本，另一方面能够减小模型的size，在边缘设备具有存储优势。现在无论是服务器端或者是移动端，支持INT8量化都是一个发展趋势，比如阿里含光， 华为altlas, 华为npu， 高通npu，nvidia的tensorcore等计算设备均支持INT8计算。

原创 硬件问题容易导致的图像异常总结

2。

原创 关于深度学习模型异构部署总结

要性能达到最优，我们需要认识各种处理器。

原创 高通深度学习模型部署环境搭建

本人的部署平台的是高通qcs8550，大家在部署工作的时候，建议大家先在高通官网上找齐文档再开工，多翻阅一些资料，能少走很多弯路。

原创 高通中的深度学习模型部署概述

在人工智能和机器学习领域，神经网络加速器（Neural Network Accelerators）是不可或缺的工具，它们可以显著提高深度学习应用的性能和效率。其中，QNN（Qualcomm Neural Processing Engine）和SNPE（Snapdragon Neural Processing Engine）作为两大主流神经网络加速器，各自在市场中占有一席之地。本文将从多个方面详细阐述QNN和SNPE之间的区别。

原创 初学slam（三）—OmniNxt

四鱼眼相机的思路是：把四个带广角镜头的全局快门相机，按照前、后、左、右四个朝向固定在机架周围。每个鱼眼镜头水平视场角超过90度，多个视角叠加之后，整个系统能覆盖以无人机为中心近360度的范围。这就相当于给无人机装了一双"后脑勺也长了眼睛"的视觉系统。而OmniNxt这个框架，就是专门为这种多相机全景视觉打造的软件栈。它把深度估计、SLAM、避障三个模块全都构建在四个鱼眼相机之上，目标是让任何搭载OAK设备的机器人，都能在不依赖激光雷达的前提下实现自主导航。

原创 相机里面的AON模式是什么

所谓AON模式，是指AON协处理器，具有高度集成优点的协处理器，基于Cortex-M0架构，是包含DSP、PMIC等的SRAM，简而概括就是可以超低功耗运行的高能效实时操作系统。其用在相机上，最受益的就是相机会以极低功耗运行，帮助芯片释放性能，实现更快速度解锁人脸、手势操控等功能。其实现方式是通过Always-on技术实现的。Always-on（AO）是通过让移动设备和IoT等的终端设备识别周围环境的变化及其内容，基于获取的信息，实现自主用户接口的传感技术。

原创 相机光学（五十六）——DCIAF

其工作原理是用主摄 + 辅摄的视差/基线做距离估计（depth service），得到目标到相机的距离，然后直接把镜头驱动到大致合焦位置，再配一小段 fine search 收尾。相比纯 CDAF 扫全程，它更快、在低光/低反差场景更稳——这就是名字里的 “instant”。Dual Camera Instant AF（双摄即时对焦），是 Qualcomm 混合对焦（HAF）里的一个基于距离/深度的辅助对焦算法，和 PDAF、TOF 并列。

原创 摄影里面的 APEX 系统指的是什么

APEX，全称是 Additive System of Photographic Exposure，中文常译为“摄影曝光加法系统”。它是摄影曝光计算中一套非常经典、简洁的数学体系，核心思想是把曝光涉及的各个变量都转换成以 2 为底的对数，从而把复杂的乘除关系变成简单的加减关系。

原创 相机光学（五十五）——鱼眼镜头视场角如何估算

鱼眼镜头使用等距模型进行视场角评估的公式为：w(h)/f*180/pi。

原创 C++11的std::function和std::bind用法详解

在设计回调函数的时候，无可避免地会接触到可回调对象。在C++11中，提供了std::function和std::bind两个方法来对可回调对象进行统一和封装。

原创 相机光学（五十四）——自动对焦指标测试

本测试旨在测量一键对焦系统的对焦成功几率。为了评估这些措施，应对最终确定的图像进行多次测量并进行比较。

原创 图像过曝、模糊、图像质量检测评估方法

仅作综述与相关开源库的记录，上一篇博文中有更详细的计算方法整理。图像质量评估（Image Quality Assessment, IQA）从方法上可分为主观评估和客观评估。主观评估就是从人的主观感知来评价图像的质量，首先给出原始参考图像和失真图像，让标注者给失真图像评分，一般采用平均主观得分（Mean Opinion Score, MOS）或平均主观得分差异（Differential Mean Opinion Score, DMOS）表示。

原创 图像清晰度评价算法

正焦的清晰图像比模糊的离焦图像边缘更加锐利清晰，边缘像素灰度值变化大，因而有更大的梯度值。在进行图像处理 时，将图像看作二维离散矩阵，利用梯度函数获取图像灰度信息，以此来评判图像清晰度。在离散信号中梯度表现为差分形式。常用的梯度函数有：能量梯度函数EOG、Roberts函数、Tenengrad函数、Brenner函数、方差Variance函数、拉普拉斯Laplace函数等等。下面分别对其进行介绍。

转载 相机光学（五十三）——炫光 Lens Flare

当一个光源点（如太阳）比场景的其余部分亮得多，它可能在图像中（在镜头视角范围内），或者不存在于图像中只是光打到镜头，就会发生镜头炫光。根据该强光源的位置，它可能会导致大量的雾状/对比度不足、遍布图像的球形或多边形瑕疵、带有彩虹颜色的半圆形形状，或以上的组合。这是由于镜头内部，甚至传感器和镜头之间发生的内部反射造成的：如图，常规光线（红色）沿着其常规路径，直接到达图像平面（绿色），而强光源的光线（蓝色）可以从镜头表面分裂和反射，并最终到达图像的不同部分（蓝色虚线）。

原创 图像质量评估概论

图像中的噪声是一些原始场景并未携带的内容，图像领域很多时候用瑕疵（artifacts）来表达其影响。通常来说，噪声是由随机过程造成的测量的统计偏差。在图像领域，噪声表现为图像中的瑕疵，看上去就像是覆盖在图像上的颗粒物。在一副图像内，噪声有不同的形式表现，降低图像质量。

原创 图像处理与视频编码中SAD指的是什么

给定两个大小相同的图像块AAA和BBBSADAB∑iN∣Ai−Bi∣SADABi∑N​∣Ai​−Bi​∣直观理解：把两个块对应位置的像素逐一相减，取绝对值，再全部加起来。两个块完全相同 → SAD = 0差异越大 → SAD 越大。

原创 基于mipi计算行长

以我这里在配置camera为例，已知camera帧率为15fps，帧长framelenth=10336，mipi传输的是RAW10数据，2lane，图像分辨率为2560*2560，那么我们可以先计算一行时间。有的时候datasheet并没有告诉我们行长寄存器，但是我们很多时候需要行长linelenth，这个时候我们应该怎么来计算行长linelenth呢？这样，我们就可以知道camera在寄存器配置的时候，行长寄存器里面的值配置的是1268。

原创 如何优化逻辑相机在切换物理相机的流畅度

如果你的逻辑相机切换只是不同焦段/视角，尽量让多个物理 sensor 保持常开，通过 IFE 的 RDI（Raw Dump Interface）或 PIX 端口切换输出，而不是关掉一个 sensor 再开另一个。CamX/Chi 里，逻辑相机的切换如果走 CSLStreamDestroy + CSLStreamCreate，开销很大。切换后如果 3A 从零收敛，画面会先暗一下再亮起来、对焦来回拉。Linux 下没有 Android 的 Gralloc 托管，buffer 管理更自由也更危险。

原创 isp中关于动态范围和局部对比度的优化

通常我们在调试isp时，通常灰阶卡确定了gamma曲线的参数，标称完了AEC基准值，调试了AEC模块中各个参数，但拍出来的图片还是让人感觉画面偏暗，调节gamma曲线，会发现效果变得更差了，修改AEC时，发现要么画面更暗，要么出现了局部过曝，不管咋调gamma和AEC，都不如修改之前的参数，那么问题出在哪里呢？

原创 高通中是如何纠正color shading的

含义：如果 enable=1，模块会根据 control_gain（归一化增益）在越过 0.9 时开/关，并带上下行迟滞。现在是 0，即不动态开关，始终随 enable_section 生效 —— 这样最好，动态开关本身会造成"开/关式"闪烁。工程里 bayerhdr51_sfe_v2 是 enable=1，但你实测日志只有一路长曝（Mid/Short=0），所以这几项当前不生效；led_sensitivity_trigger = [1,100]，是闪光灯/灵敏度触发的历史字段，不参与常规流程。

原创 isp中关于锐化对图像清晰度的影响

光晕效应是指在高对比度边界附近出现的过渡区域，这种过渡区域会使图像看起来不自然。它通常发生在使用平滑或模糊滤波器（如盒滤波器、均值滤波器）处理图像时。振铃效应是指在高对比度边界附近出现的振荡现象，即在边界附近出现一系列的波纹或振荡。理想滤波器（Ideal Filter）会产生振铃效应（Ringing Effect）。

原创 重新回顾时间复杂度和空间复杂度

衡量不同算法的优劣，主要还是根据算法所占的空间和时间两个维度去考虑。但是，世界上不会存在完美的代码，既不消耗最多的时间，也不占用最多的空间，鱼和熊掌不可得兼，那么我们就需要从中去寻找一个平衡点，使得写出一份较为完美的代码。

原创 为什么调整LSC会对AF产生影响

PDAF 对 LSC 的调整非常敏感，核心原因在于它依赖“左右像素信号的一致性”来计算相位差。LSC 本质上是给图像像素施加一个空间变化的增益来补偿暗角。对于 PDAF，问题就出在这里：相位差的计算依赖于第一焦点检测信号（左像素）和第二焦点检测信号（右像素）之间的相关性（信号匹配度）。如果 LSC 的增益对左右像素施加得不完全一致，就会直接破坏这种相关性，导致相位差计算出现偏差，对焦精度下降。更关键的是，PDAF 还存在“瞳偏移导致的阴影（pupil shift shading）”问题。

原创 初学slam（三）—ORB-SLAM2源码解析

为了进一步了解ORB-SLAM3，我们先来学习ORB-SLAM2。

原创 FCM多摄颜色融合的原理

FCM多摄颜色融合的核心原理，是先利用模糊C均值聚类（FCM）对不同图像按地物或场景内容进行"语义匹配"，再对匹配上的同类区域进行精确的颜色迁移与校正。这项技术主要应用于解决多幅图像拼接或融合时的颜色不一致问题（即"色彩漂移"），尤其在图像间没有重叠区域时，传统方法失效，而FCM提供了一种解决方案。

原创 DIODE和SHIELDED的区别

LEFTDIODE 和 LEFTSHIELDED 都涉及PDAF相位检测像素，但它们的核心区别在于硬件结构和感光原理的不同。简单来说，这是两种不同的PDAF技术路线。这两种结构都是为了实现光路分离——让像素能分辨出来自镜头左右两侧的光线，从而检测相位差。

转载 MIPI Data Type Classes-数据类型

1.8.总结。

原创 相机光学（五十二）——PDAF标定测试卡参数如何确定

S≥d∗tanHFOV∗2/0.9这里HFOV是73.2°，如果满足S=640mm的条件的话，需要d约为396.15mm，需要工作距离小于d。

原创 高通tuning中eis需要调什么

  通常，我们在使用 eisv3 的时候，对应的 xml 文件是 Scenario.Default/XML/SW_CONTROL 下的 eis15_sw.xml。该文件是 Qualcomm 平台 EIS（电子防抖）v3 版本的核心配置文件，它通过一系列参数定义了防抖算法在不同场景下的行为。下面我们先展示一份完整的 eis15_sw.xml 文件内容，方便大家对照参考；随后再针对其中需要重点调试的参数进行逐一说明。2. 基于陀螺仪的EIS原理  简单来说，陀螺仪(gyro)直接提供角度变化（旋转），加速度

原创 ubuntu之坑（二十）——VMware虚拟机系统无法正常进入如何处理

y：自动回答 “yes” 到所有修复提示，不用你一个个按 y。/dev/sda5：需要修复的分区（就是你系统所在的分区）

原创 semi planar和planar的区别

在视频与图像格式 (YUV色彩空间) 中，这是最常遇到这两个词的场景，它们描述的是数据在内存中的存储方式。简单来说，Planar格式分离得更彻底，而Semi-Planar格式则是为了在保持一定分离的同时，提高数据访问的局部性（因为U和V通常成对使用）。