15、基于光子混合器件的压缩感知飞行时间相机：原理与实现

基于光子混合器件的压缩感知飞行时间相机：原理与实现

在当今的成像技术领域，飞行时间（ToF）相机正发挥着越来越重要的作用。而基于光子混合器件（PMD）的压缩感知ToF相机，更是为成像技术带来了新的突破。本文将详细介绍这种相机的原理、特点以及实现方式。

系统概述

这种基于CS的PMD相机原型（简称为CS - PMD相机），旨在同时在二维空间域和时间域进行压缩感知。通过压缩感知技术，从压缩的原始数据中可以恢复出更高维度的密集三维数组，前提是数据在适当的字典（每个域）中具有稀疏表示。从这些密集的原始数据中可以计算出深度图像，其横向分辨率由恢复的原始数据的空间维度决定，不再受PMD阵列像素数量的限制。

空间域压缩感知

在空间域进行压缩感知时，有两种简单的方法可以在亚像素级别修改PMD像素的响应函数，从而实现从压缩测量中进行超分辨率成像。
- PMD阵列位移法 ：通过在图像平面上对PMD阵列进行自定义二维位移，就像在某些应用案例中所做的那样。步进单元（或用于产生位移的等效设备）的分辨率必须低于像素大小，即提供亚像素分辨率。这样，可恢复的最大横向分辨率受步进单元的分辨率限制，而不再受PMD阵列像素数量的限制。不过，带有可进行微米级位移的移动部件的相机在实际场景中的适用性可能有限，因为振动和灰尘暴露可能会限制定位系统的有效分辨率。
- 添加空间光调制器（SLM）法 ：在相机中加入SLM，它能够在图像投影到PMD阵列之前，在空间域对到达传感器的光进行调制，叠加自定义图案。大多数商用SLM基于电光调制（EOM）技术，如机械光学设备（如DLP）或电光设备（如LCoS阵列）。如果使用透射式SLM，有三种放置方式：
- 靠近图像探测器放置 ：这种设置非常紧凑，但由于PMD和SLM像素大小的典型比例不够大，难以实现高的超分辨率因子。而且在使用景深非常低的光学器件时，SLM和PMD传感器之间的非零距离可能会导致显著的图像退化。
- 放置在成像镜头前面 ：可以避免图像失真，但特定SLM像素的衰减会影响不同数量的PMD像素，即SLM图案不会直接叠加在PMD阵列形成的图像上。
- 放置在成像光学器件内部 ：这是最复杂的设置，但可以实现SLM像素在PMD像素上的完美投影，唯一限制最大可实现超分辨率因子的参数是两者的分辨率之比。

由于透射式SLM的填充因子远低于反射式SLM，而在ToF成像中，功率预算通常是设计系统的主要标准，因此反射式SLM是更好的选择，尽管其光学系统更庞大。常见的反射式SLM技术有DLP和基于反射式液晶的SLM，它们的填充因子都高于90%。将反射式SLM集成到相机光学系统中有两种可能的设置：
- 单反射设置 ：通过长焦距的镜头系统（L1 - L2）先在SLM表面生成图像，然后再通过另一个长焦距但系统长度较短的镜头系统（L3 - L4，如远摄镜头系统）将SLM表面的图像投影到PMD芯片的有源区域。这种设置的主要缺点是难以对齐入射和反射光路，可能导致图像在宽度上收缩。不过，其优点是光功率损失较小。
- 分光设置 ：使用分束器可以解决对齐问题，实现更紧凑的设置。但分束器会造成较大的光功率损失，在实际场景中，这种设置可能会损失超过90%的由第一个镜头收集的光功率。其主要优点是SLM和PMD芯片可以完美对齐，且没有图像失真。

下面是一个简单的表格总结空间域压缩感知的方法：
| 方法 | 优点 | 缺点 |
| ---- | ---- | ---- |
| PMD阵列位移法 | 可突破PMD阵列像素数量对分辨率的限制 | 实际适用性有限，受振动和灰尘影响 |
| 添加SLM法（透射式） | 可叠加自定义图案实现超分辨率 | 填充因子低，光功率损失大 |
| 添加SLM法（反射式 - 单反射设置） | 光功率损失小 | 光路对齐困难，可能图像收缩 |
| 添加SLM法（反射式 - 分光设置） | 对齐完美，无图像失真 | 光功率损失大 |

以下是空间域压缩感知方法的mermaid流程图：

graph LR
    A[空间域压缩感知] --> B[PMD阵列位移法]
    A --> C[添加SLM法]
    C --> D[透射式SLM]
    C --> E[反射式SLM]
    E --> F[单反射设置]
    E --> G[分光设置]

时间域压缩感知

PMD像素对光信号的时频感知可以看作是在频域进行的，因为测量被认为是接收信号与正弦参考信号的互相关样本。如果要根据自定义参考信号（如某种时间代码）进行测量，就需要修改PMD前端以生成这些参考信号，并相应地同步照明系统的内部时钟信号（ICS）。

在商业的19k和41k PMD前端中，PMD像素的参考信号和照明系统的ICS是在PMD芯片外部的复杂可编程逻辑器件（CPLD）中生成的。而英飞凌公司制造的最新一代PMD芯片似乎已经将所有必要信号的生成和模数转换器（ADC）集成到芯片内部。但一旦芯片制造完成，就无法对参考信号生成电路进行后期自定义修改。因此，在CS - PMD原型中，选择了上一代需要外部生成参考信号的PMD 19k - S3芯片。

由于参考信号的输入是二进制的，最好的方法是使用自定义二进制代码作为参考信号。假设使用低成本、带宽有限的照明系统（如基于LED的系统），调制频率限制在几十兆赫兹，当照明系统由方波信号驱动时，发射信号会有相当大的谐波成分。二进制代码的最大长度由调制信号的周期与参考信号可实现的最小脉冲宽度之比决定。

系统由时钟信号CLK控制，CLK信号的频率可以任意设置，为了提供最大的时频传感带宽，CLK频率fCLK应设置为CPLD表现稳定的最高频率。CLK信号触发自定义代码元素之间的转换，代码转换在CLK的上升沿和下降沿都被触发，以最大化给定调制频率下二进制代码的最大长度。测量次数mfreq受正交代码的最大数量限制，mmax_freq = 2fCLK / fmod 。通过简单的分频器可以从CLK获得方形ICS。

如果自定义代码被设计为模拟ICS的位移版本，系统以传统干涉模式运行。如果使用mfreq ≥ 3个代码，对应于mfreq个等间距的相位间隔，可以使用简单的封闭公式从测量中计算相位。当mfreq = 4时，系统以四相位模式运行，就像传统的PMD相机一样。

下面是时间域压缩感知的主要步骤列表：
1. 选择合适的PMD芯片（如PMD 19k - S3），确保可以外部生成参考信号。
2. 设置CLK信号频率，使其为CPLD稳定工作的最高频率。
3. 利用CLK信号触发自定义二进制代码元素的转换，计算最大测量次数mmax_freq。
4. 通过分频器从CLK获得方形ICS。
5. 根据不同的代码设置，选择合适的运行模式（如干涉模式、四相位模式等）。

时间域压缩感知的工作流程可以用以下mermaid流程图表示：

graph LR
    A[时间域压缩感知] --> B[选择PMD芯片]
    B --> C[设置CLK频率]
    C --> D[触发代码转换]
    D --> E[计算mmax_freq]
    E --> F[获取方形ICS]
    F --> G[选择运行模式]

通过以上对空间域和时间域压缩感知的介绍，我们可以看到CS - PMD相机在成像技术上的独特优势和创新之处。它不仅能够提高深度图像的精度，还能在一定程度上提升横向分辨率，为未来的成像应用带来了更广阔的前景。

基于光子混合器件的压缩感知飞行时间相机：原理与实现

系统整体工作流程

CS - PMD相机的整体工作流程涉及空间域和时间域的压缩感知，最终实现深度图像的计算。以下是其详细的工作步骤：
1. 信号生成 ：系统由时钟信号CLK控制，CLK频率fCLK应设置为CPLD表现稳定的最高频率。CLK信号触发自定义二进制代码元素之间的转换，根据公式mmax_freq = 2fCLK / fmod 计算最大测量次数。通过简单的分频器从CLK获得方形ICS，ICS作为LED驱动的输入。
2. 信号发射与反射 ：LED驱动产生的信号经过LED后，由于LED的频率响应衰减，会产生不可忽略的失真。产生的光信号i(t)被投射到场景中，每个场景点产生一个或有限数量的反射，反射光信号是入射光信号i(t)的位移叠加。如果场景物体是不透明的且没有多径干扰（MPI），反射信号是发射信号的延迟版本i(t - τd)，其中τd是相机与场景点之间距离导致的延迟。
3. 空间域调制 ：图像不是直接在PMD表面形成，而是先在SLM表面形成。SLM负责在空间域将二维自定义代码叠加到图像上，为超分辨率成像创造条件。如果SLM与PMD阵列的尺寸比为kSR（每个维度），且两者像素均为方形，则每个PMD像素上要叠加的二维图案的最大尺寸为kSR × kSR。
4. 数据采集与恢复 ：系统在空间域和时间域都需要针对每个代码进行一次采集，总的采集次数m = mspatial × mfreq，其中mspatial ≥ 1且mfreq ≥ 3。在实际应用中，mspatial需要足够大以确保成功恢复超分辨率图像。利用原始图像在小波域的稀疏性和照明信号在频域的稀疏性，从压缩测量中恢复所需的原始数据。
5. 深度图像计算 ：从恢复的密集原始数据中计算深度图像，深度图像的横向分辨率由恢复的原始数据的空间维度决定，不再受PMD阵列像素数量的限制。

下面是CS - PMD相机系统工作流程的表格总结：
| 步骤 | 操作内容 |
| ---- | ---- |
| 信号生成 | 设置CLK频率，触发代码转换，计算mmax_freq，获取方形ICS |
| 信号发射与反射 | LED产生失真信号投射到场景，场景反射光信号 |
| 空间域调制 | SLM在图像上叠加二维自定义代码 |
| 数据采集与恢复 | 按代码采集数据，利用稀疏性恢复原始数据 |
| 深度图像计算 | 从恢复数据计算深度图像 |

CS - PMD相机系统工作流程的mermaid流程图如下：

graph LR
    A[系统启动] --> B[信号生成]
    B --> C[信号发射与反射]
    C --> D[空间域调制]
    D --> E[数据采集与恢复]
    E --> F[深度图像计算]
    F --> G[输出深度图像]

优势与挑战

CS - PMD相机具有多方面的优势，但也面临一些挑战，具体如下：
- 优势
- 提高深度精度 ：通过压缩感知技术，利用原始图像和照明信号的稀疏性，可以在减少测量次数的情况下提高深度图像的精度。例如，在某些联合恢复框架中，通过利用PMD原始图像集的低秩性和结构化联合稀疏性，能够提高深度测量的准确性。
- 提升横向分辨率 ：在空间域通过修改PMD像素的响应函数（如PMD阵列位移或添加SLM），可以实现超分辨率成像，使深度图像的横向分辨率不再受PMD阵列像素数量的限制。
- 灵活性高 ：系统可以根据不同的应用需求选择不同的运行模式，如干涉模式、四相位模式等。同时，自定义二进制代码的使用也增加了系统的灵活性。
- 挑战
- 硬件复杂性 ：为了实现空间域的超分辨率成像，需要添加额外的硬件（如SLM），并且需要对光学系统进行定制设计，这增加了相机的硬件复杂性和成本。
- 光功率损失 ：在使用SLM进行空间调制时，尤其是采用分光设置的反射式SLM，会导致较大的光功率损失。这在功率预算有限的ToF成像系统中是一个严重的问题。
- 实际适用性限制 ：带有可进行微米级位移的移动部件的相机（如采用PMD阵列位移法）在实际场景中的适用性有限，因为振动和灰尘暴露可能会限制定位系统的有效分辨率。

应用前景

CS - PMD相机在多个领域具有广阔的应用前景，以下是一些具体的应用场景：
- 三维建模 ：在三维建模领域，高精度的深度图像对于准确重建物体的三维形状至关重要。CS - PMD相机能够提供高分辨率的深度图像，有助于提高三维建模的质量和精度。
- 机器人导航 ：机器人在导航过程中需要实时获取周围环境的深度信息，以避免碰撞和规划路径。CS - PMD相机的高帧率和高精度深度测量能力使其非常适合机器人导航应用。
- 增强现实（AR）和虚拟现实（VR） ：在AR和VR应用中，需要准确地感知用户与周围环境的交互，提供逼真的沉浸式体验。CS - PMD相机可以提供实时的深度信息，为AR和VR系统的发展提供有力支持。

综上所述，基于光子混合器件的压缩感知飞行时间相机（CS - PMD相机）是一种具有创新性和潜力的成像技术。虽然它面临一些挑战，但通过不断的技术改进和优化，有望在未来的成像领域发挥重要作用。随着相关技术的不断发展，CS - PMD相机的性能将不断提升，应用范围也将不断扩大。