2.光电成像系统

谜题未解

已于 2024-09-01 19:06:02 修改

阅读量1k

点赞数 22

分类专栏：成像系统文章标签：图像处理算法硬件架构车载系统计算机视觉

于 2024-09-01 16:25:30 首次发布

本文链接：https://blog.youkuaiyun.com/u011305167/article/details/141403566

版权

成像系统专栏收录该内容

2 篇文章

订阅专栏

光电成像系统是一种综合了光学、机械、电子学及计算机科学等多个领域的复杂技术体系，它能够将输入的光学信号经过一系列复杂的变换过程最终转化为可供进一步分析和处理的图像信息。这种系统的广泛应用得益于其强大的成像能力和多功能性，在科研、工业、安全以及日常生活等众多领域都发挥着重要作用。

光电成像系统的核心组成部分包括光源、光学成像系统、光电转换系统和信号处理系统等部分组成。后面先从这4个方面进行简要介绍，后续再通过专题部分对其中的光学成像系统和信号处理系统部分进行详细的介绍。

2.1 光源

本文的光电成像系统主要以可见光和近红外等波段的光源为主，如X射线等波段的成像系统将放在医学成像系统部分进行介绍。最常见的光源是自然光，比如太阳光、月亮和星星发出的光线，由于这些光源离地面比较遥远，因此这些光线可近似为平行光线。其他的光源主要是人造光源，如家庭常用的白炽灯、LED灯等。而工业用的光源种类则更为多样，根据照明方式的不同可分为直射射式和背照式光源；根据的光源形状分类又包括条形光源、环形光源、圆顶光源、同轴光源、点光源和面光源等，如图2.1所示。

a) 条形光源； b) 方形光源；

c）环形光源； d) 圆顶光源；

e）同轴光源； f) 平面光源；

g）点光源

图2.1 不同类型光源图示

光源是光电成像系统的必要输入，光源的选型优劣是决定光电成像系统是否能够获取高质量图像的必要条件之一。光电成像系统可以看作是“人的眼睛”，而人的眼睛能够看清物体前提条件是有一个良好的照明条件。需要根据不同的使用场景选择适宜的光源，比如在屏幕面板的缺陷检测中一般会选择背照式光源进行照明，对于焊点等检测一般会选择圆顶光源照明。有时对于某种应用场景不是很确定的情况，还需要通过试用等方式对不同类型的光源进行对比测试，以选择最合适的光源类型。

2.2 光学成像系统

光学成像系统通常是由透镜、反射镜、棱镜和光阑等多种光学元件按一定次序组合而成，它们共同协作以实现光线的精确聚焦和导向，最终将图像清晰地呈现在成像传感器上。进行光学成像系统设计时，需要综合考量多个关键因素，如系统的分辨率——即成像的精细程度；成像畸变——实际成像与理想成像之间的几何差异；视场角——成像系统所能观察的最大角度范围；景深范围——图像能够清晰成像的距离范围；透过率——通过光学系统传输的光量。还有一个关键但不常被大家关注的指标——波长或频率；每个光学成像系统对不同波长的透过率有较大差异，所以在选择光学成像系统的时候需要结合光源选型进行适配。在一些应用场景中，需要屏蔽环境光对光学成像系统的影响，可以选择特定波长的光源和相应的光学成像系统进行优化。

图2.2 不同波长的透过率

常见的光学成像系统包括凸透镜、凹透镜、望远镜、显微镜、透镜组以及更为复杂的光学成像系统。光学成像系统的设计、评估及选型是一项综合性的工程任务，它不仅依赖于几何光学的基础理论，还融合了物理光学的知识。几何光学主要是以光线为基础，通过光线在空间中的直线传播、反射和折射等性质，进行光学系统设计；而物理光学主要强调光的波动性质，包括干涉、衍射、偏振和色散等现象，通过波相差等理论研究光波前的传播与调制，进而改善成像质量。

2.3 光电转换系统

光电转换系统（成像传感器）是光电成像系统的关键部分，主要负责将光学信号转换为电信号。常见的光电转换器有CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体）传感器。这两种传感器各有优势，比如CCD在低光环境下表现更佳，而CMOS则具有更高的读取速度和更低的成本。

光电转换系统的关键组成是光敏元件，成像传感器(sensor)就是由许多光敏单元组成的阵列，每个光敏单元对应图像的一个像素，当然像素也可以由多个光敏单元合并而成，比如2*2模式的每个像素是由4个光敏元件的均值产生。光敏元件的基本原理是光电效应，就是当光线照射到光敏元件上时，光子的能量会使电子从半导体材料中释放出来，形成电流。而释放出来的电子数量（电流）与入射光的强度成正，因此，每个光敏单元产生的电流强度代表了该像素接收到光的强度。这些电流信号随后被转换成电压信号，然后通过模数转换和量化，转化为图像像素值，成为图像的一部分。

图2.3 色彩滤镜阵列

目前常用的成像传感器得到的图像都是彩色的，为了捕捉彩色图像，成像传感器通常需要配备一个色彩滤镜阵列，如拜耳滤镜（Bayer Filter）。拜耳滤镜将红（R）、绿（G）、蓝（B）三种颜色的滤镜按一定规律排列在像素阵列上，使得每个像素只能感知一种颜色的光。通常的排列方式是RGGB这种模式，也有一些厂商根据不同的应用情况进行了改进，比如前两年华为使用的RYYB模式。

图2.4 图像去马赛克过程图

图像传感器直接得到的图像一般叫raw图。如图2.4所示，raw图是彩色图像的不同通道都在同一张图像阵列上，而在图像处理中不同颜色的通道是单独的图像阵列。如图2.4所示，从raw图转换到三色图的过程也就是ISP处理中的去马赛克过程，关于图像处理的细节部分后续在相关专题再详细介绍。

2.4 信号处理系统

信号处理系统又可细分为硬件相关的信号处理和图像处理部分包的信号处理。硬件相关的信号处理部分主要包括信号放大、滤波、模数转换（A/D转换）等一系列光电转换过程及量化输出等处理环节。这部分的任务是将从光电转换器接收到的电信号进行优化，使其适合后续的数字信号处理。这部分内容会涉及到数字电路、模拟电路以及信号处理等相关知识。通常我们使用的硬件处理系统中，用户是不需要对这些部分进行修改和调参的，因此这部分在后续只会做简要的介绍，让大家有个基本的认知即可。

图2.5 信号处理系统

而在现代的光电成像系统中，我们拿到的一般是经过光电转换、模数转换和量化输出后的raw图，这个是用户处理和应用的重点，本文后续将以图像信号处理统称。图像信号处理又可细分为图像前处理部分和图像后处理部分，图像前处理主要包括自动对焦（Auto Focus）和自动曝光（Auto Exposure）等技术；图像后处理主要包括去马赛克、图像白平衡、亮度对比图调节、噪声抑制和图像增强等技术；跟光学成像系统相关的还包括相机内外参数校正和畸变校正等技术。这些技术的主要目的是跟图像生成相关的技术，它们的目的是尽可能的提高图像的质量和可用性；而图像应用相关的技术则更为复杂多样，比如特征提取、特征识别、图像拼接、人脸检测等等，不甚枚举。后续主要介绍与提高图像质量相关的技术，与应用相关的技术只会筛选部分经典应用进行简要介绍。