图像学习之旅

这是我在地平线x5上调试的点亮的鱼眼模组，我把isp中的LSC关掉后，并没有出现可见的color shading现象。而我在高通平台上，会出现边缘暗处偏绿（我觉得可能是黑电平、AWB/CCM导致的），这几天也在疯狂debug找原因。

Qualcomm 具体实现通常包含定点化、LUT、噪声归一化、软阈值、空间掩膜和模式分支，不能直接把公式参数当作 XML 参数。其中 offset/gain 通过 DRC gain、曝光灵敏度比、LED index、gain、CCT 多维 trigger 取值。权重来自 focus measure confidence、场景亮度、face mask、motion 和模式配置。实际 AWB 还会受 face、sky、green、depth、spectral sensor 和 NN/ML 修正影响。

2。

所谓AON模式，是指AON协处理器，具有高度集成优点的协处理器，基于Cortex-M0架构，是包含DSP、PMIC等的SRAM，简而概括就是可以超低功耗运行的高能效实时操作系统。其用在相机上，最受益的就是相机会以极低功耗运行，帮助芯片释放性能，实现更快速度解锁人脸、手势操控等功能。其实现方式是通过Always-on技术实现的。Always-on（AO）是通过让移动设备和IoT等的终端设备识别周围环境的变化及其内容，基于获取的信息，实现自主用户接口的传感技术。

其工作原理是用主摄 + 辅摄的视差/基线做距离估计（depth service），得到目标到相机的距离，然后直接把镜头驱动到大致合焦位置，再配一小段 fine search 收尾。相比纯 CDAF 扫全程，它更快、在低光/低反差场景更稳——这就是名字里的 “instant”。Dual Camera Instant AF（双摄即时对焦），是 Qualcomm 混合对焦（HAF）里的一个基于距离/深度的辅助对焦算法，和 PDAF、TOF 并列。

APEX，全称是 Additive System of Photographic Exposure，中文常译为“摄影曝光加法系统”。它是摄影曝光计算中一套非常经典、简洁的数学体系，核心思想是把曝光涉及的各个变量都转换成以 2 为底的对数，从而把复杂的乘除关系变成简单的加减关系。

鱼眼镜头使用等距模型进行视场角评估的公式为：w(h)/f*180/pi。

本测试旨在测量一键对焦系统的对焦成功几率。为了评估这些措施，应对最终确定的图像进行多次测量并进行比较。

仅作综述与相关开源库的记录，上一篇博文中有更详细的计算方法整理。图像质量评估（Image Quality Assessment, IQA）从方法上可分为主观评估和客观评估。主观评估就是从人的主观感知来评价图像的质量，首先给出原始参考图像和失真图像，让标注者给失真图像评分，一般采用平均主观得分（Mean Opinion Score, MOS）或平均主观得分差异（Differential Mean Opinion Score, DMOS）表示。

正焦的清晰图像比模糊的离焦图像边缘更加锐利清晰，边缘像素灰度值变化大，因而有更大的梯度值。在进行图像处理 时，将图像看作二维离散矩阵，利用梯度函数获取图像灰度信息，以此来评判图像清晰度。在离散信号中梯度表现为差分形式。常用的梯度函数有：能量梯度函数EOG、Roberts函数、Tenengrad函数、Brenner函数、方差Variance函数、拉普拉斯Laplace函数等等。下面分别对其进行介绍。

当一个光源点（如太阳）比场景的其余部分亮得多，它可能在图像中（在镜头视角范围内），或者不存在于图像中只是光打到镜头，就会发生镜头炫光。根据该强光源的位置，它可能会导致大量的雾状/对比度不足、遍布图像的球形或多边形瑕疵、带有彩虹颜色的半圆形形状，或以上的组合。这是由于镜头内部，甚至传感器和镜头之间发生的内部反射造成的：如图，常规光线（红色）沿着其常规路径，直接到达图像平面（绿色），而强光源的光线（蓝色）可以从镜头表面分裂和反射，并最终到达图像的不同部分（蓝色虚线）。

图像中的噪声是一些原始场景并未携带的内容，图像领域很多时候用瑕疵（artifacts）来表达其影响。通常来说，噪声是由随机过程造成的测量的统计偏差。在图像领域，噪声表现为图像中的瑕疵，看上去就像是覆盖在图像上的颗粒物。在一副图像内，噪声有不同的形式表现，降低图像质量。

给定两个大小相同的图像块AAA和BBBSADAB∑iN∣Ai−Bi∣SADABi∑N​∣Ai​−Bi​∣直观理解：把两个块对应位置的像素逐一相减，取绝对值，再全部加起来。两个块完全相同 → SAD = 0差异越大 → SAD 越大。

S≥d∗tanHFOV∗2/0.9这里HFOV是73.2°，如果满足S=640mm的条件的话，需要d约为396.15mm，需要工作距离小于d。

如果你是一名Android相机应用的开发者，或者正在从事手机相机系统的开发工作，那么“高通CamX架构”这个名字你一定不陌生。但第一次接触它时，你可能会被它复杂的层级和一堆陌生的术语搞得晕头转向。别担心，今天我就以一个过来人的身份，带你拨开迷雾，看看这个架构到底是怎么一回事，以及它和我们熟知的Camera HAL3接口之间，到底是如何“牵手”合作的。简单来说，你可以把整个Android相机系统想象成一个大型的跨国企业。

xml如果是360就是不生效使用dtsi里面的，如果在 0 to 359内就是会使用xml里面的。Pitch（俯仰）：绕横轴旋转，使物体向前或向后倾斜。俯仰角度通常用来描述物体绕其横轴的旋转。Roll（翻滚）：绕纵轴旋转，使物体沿水平面滚动。翻滚角度通常用来描述物体绕其纵轴的旋转。Yaw（偏航）：绕垂直轴旋转，使物体左右转动。偏航角度通常用来描述物体绕其垂直轴的旋转。

1][2][3]

  在编译好app.img和hbre.img后，将两个估计独立进行烧录更新。然后进入“/app/platform_samples/tuning_tool/”路径下，运行run_tuning.sh脚本，参考命令如下：  具体启动流程如下：  通过 “ss -tlnp”监听tcp窗口，我们可以找到camera和isp_tuning的接口地址。  最后通过ISP调试的上位机，我们就可以正常连接我们的开发板了。  本文档介绍了Horizon Sunrise X5 图像处理器的测试和调试方案，详细说明了静态图像

如上图所示，高通CamX中，为每个Request ID涉及了多个Seq ID(0-3)，在EIS集成过程中，每个Seq ID有不同的作用，因为EIS是基于IMU数据计算的，在算法运行前需要拿到Gyro/Accel data，而获取Gyro/Accel data前，需要读取当前帧图像的帧时间戳、曝光时间、rollingshutterskew等Metadata信息。介绍了高通平台EIS node输出信息的流向，本文从整体pipeline的角度介绍高通平台EIS算法集成的位置。

HDR（High Dynamic Range，高动态范围）和WDR（Wide Dynamic Range，宽动态范围）是两种用于提升图像动态范围的技术，主要目的是在复杂光照条件下捕捉更丰富的细节。尽管两者的目标相似，但在技术实现方式、应用场景以及性能表现上存在显著差异。HDR通常通过多帧合成的方式实现，即相机在一次拍摄过程中捕捉多张不同曝光的照片，并将它们合并成一张具有更高动态范围的图像。这种方式依赖于软件算法来对齐和融合图像内容，因此容易受到运动伪影的影响。

Y0.299R0.587G0.114B当 AWB 偏蓝时，算法错误地认为场景色温过高（如将 5000K 误判为 7500K），会压低 R/G 通道增益，抬高 B 通道增益。结果是：R 和 G 被压缩，B 被放大，但 B 对 Y 的贡献很小，导致整体 Y 值下降，图像物理亮度降低。

CCM 全称为Color Correction Matrix --色彩校正矩阵 ，它通常在RGBdomain进行，并在AWB之后。AWB主要是矫正白色，相应的其他色彩也跟着有一些变化。CCM就是保持白色不变，将其他色彩校正成真实的颜色。色彩校正矩阵如图所示：为了保证白平衡不被破坏，需满足：C00 + C01 + C02 = 1 ，且C00大于等于1，C10和C20以此类推。

camera sensor 工作原理：先感应到光信号，接着将光信号转换成模拟信号，在通过A/D转换成数字信号。我们以10bit 数据为例，转换成的数字信号则在0-1023 的范围内，然而A/D转换器的精度无法将电压值很小的一部分转换出来，从而导致暗态细节损失这时需要认为地输出信号加一个固定的偏移量，使整体信号值放大，有小保留了电压值很小的暗部细节，当然也会损失部分亮度细节。此操作是因为我们拍照时较关注暗态拍照，保留暗部细节牺牲部分动态范围的操作而被认可。

(1)VTS = 2622 行（含 blank）(3)单 lane 速率 = 1152 Mbps = 1.152×10⁹ bps(4)像素位宽 RAW10 → 10 bit/pix。

状态描述元素实例是否初始化，是否准备好传输数据，以及它是否当前正在处理数据。从现在起，它将被简单地称为“NULL”、“READY”、“pause”和“PLAYING”。GST_STATE_NULL 是元素的默认状态。在这种状态下，它没有分配任何运行时资源，它没有加载任何运行时库，显然无法处理数据。GST_STATE_READY 是元素可以处于的下一个状态。在就绪状态下，元素分配了所有默认资源（运行时库、运行时内存）。但是，它尚未分配或定义任何特定于流的内容。

没有什么比在屏幕上打印“Hello World”更能给人留下软件库的第一印象了！但既然我们要处理多媒体框架，我们就要播放视频了。不要被下面的代码量吓倒：只有4行代码可以完成真正的工作。剩下的是清理代码，在C语言中，这总是有点冗长。不用再费吹灰之力，准备好您的第一个GStreamer应用程序…

Depth AF 是“先选前后两点，再自动算光圈和对焦”的智能景深系统，专为“从近到远都要清楚”的拍摄需求设计，常见于 Canon 早期单反相机中，是一种基于景深的被动式自动对焦。

在将光信号转换为电信号的扫描过程中，扫描总是从图像的左上角开始，水平向前行进，同时扫描点也以较慢的速率向下移动。当扫描点到达图像右侧边缘时，扫描点快速返回左侧，重新开始在第1行的起点下面进行第2行扫描，行与行之间的返回过程称为水平消隐。一幅完整的图像扫描信号，由水平消隐间隔分开的行信号序列构成，称为一帧。扫描点扫描完一帧后，要从图像的右下角返回到图像的左上角，开始新一帧的扫描，这一时间间隔，叫做垂直消隐，也称场消隐（VBlank）。

渐晕，又称“光衰减”，在光学和摄影中很常见，简单来说就是与中心相比，图像角落变暗。渐晕要么是由光学引起的，要么是在后期处理中故意添加的，目的是将观看者的视线从角落的干扰物吸引到图像的中心。

光面相纸表面光滑，亮度高，反光性好，能够呈现出清晰、鲜艳的图像效果，适合用于表现色彩艳丽、反差要求较高的题材，如产品照、艺术照和风景照。然而，这种相纸容易沾上指纹和灰尘。

One Step Mode、Linear Slope Control（LSC）和Acceleration Control是三种不同的控制模式，它们在控制策略和应用场景上有所区别。这些控制模式在VCM中的应用是为了提高其性能，减少振动，加快响应速度，并提高定位精度。每种模式都有其特定的应用场景和优势，可以根据具体的应用需求选择合适的控制策略。

是否准确对焦，是评定一张照片是否废片的重要因素之一，准确对焦才能确保照片清晰。在实际拍摄中，不管是入门级或者是专业级别的自动对焦系统，都存在一个难以根治的问题——跑焦。那么到底什么叫跑焦？

PDAF是相位检测自动对焦技术的缩写，它是一种在数码相机和智能手机摄像头中使用的自动对焦技术。PDAF的原理是根据CIS（CMOS图像传感器）不同像素的相位差信息，判断出当前镜头位置相对于焦清晰状态的位置，从而得到镜头应该移动的向量。PDAF技术通过在感光芯片上预留一些规律性对称的遮蔽像素点来进行相位检测，通过像素之间的距离及变化来决定对焦的偏移量即相位差（PD值），从而实现快速对焦。PDAF系统框图和分类包括单PD（shielded pixel）和双PD（Dual Pixel）技术。

CG本身可以简单理解为电路探测到了一个电子后，转换表示为电压的单位，也就是对电子的敏感程度，CG越大，表示一个电子所能转换的电压就越高（不严谨，逻辑上这么理解即可，勿较真）。传统的时域多帧HDR技术的特点是多张不同曝光程度的图融合为一张图片，我们假设上一节的三张图为例，拍摄三张图的时间会比较长（主要是过曝的图时间占比较大），在阴暗环境下尤其明显。HDR模式：对角线上的像素1和4为一组，像素2和3为一组分别做长短曝光，然后将1和4的值，2和3的值分别融合作为大像素的长、短曝光下的值用来做HDR计算。

QBC是索尼的一种HDR技术，利用Quad Bayer排列中四个同色像素聚在一起的特性，直接实现了片上HDR。通过每个对角线一组的曝光策略，每组同色四像素便能输出分别对应长、短曝光的两组图像，融合之后便能得到一张HDR图像。QBC HDR技术可以说是SME-HDR技术的完美迭代，其优点除了速度快之外，效果还很好，所以非常适合应用在视频拍摄中。

2x2 Adjacent Pixel Binning 是一种图像传感器技术，用于将相邻的像素合并以提高图像的信噪比（SNR）和降低图像数据量，从而可能提高帧率或减少处理资源的需求。具体来说，这种技术涉及将2x2的相邻像素（即四个像素）的信号在被发送到模数转换器（ADC）之前进行平均处理。然而，2x2 Adjacent Pixel Binning 也有其缺点，最主要的是会降低图像的分辨率。因为四个像素被合并成一个，所以图像的解析度会减少75%。

在流媒体传输中，RTSP、RTP 和 RTCP 这三个协议协同工作，以确保媒体数据能够实时、高效且可靠地传输。RTP 用于实时传输数据，如音频和视频数据，它建立在 UDP 上，与 RTCP 协议一起使用，以提供服务质量（QoS）反馈和同步媒体流。通过这种协同工作，RTSP、RTP 和 RTCP 共同确保了流媒体的实时性、同步性和传输质量，为用户提供流畅的媒体播放体验。RTSP 基于 TCP 协议进行传输，负责流媒体通道参数的协商以及具体的控制信息，如播放、暂停、停止等。

在玩摄影一段时间，拍摄一定数量的照片之后，每个人都会不可避免地遇上一个新问题，那就是暗角现象。所谓暗角，是指在拍摄亮度均匀的场景时，画面的四角却出现与实际景物不符的、亮度降低的现象，又被称为“失光“。