基于CMOS图像传感器的设备生物识别

电子眼生物识别：嵌入式CMOS图像传感器的系统认证

摘要

诸如晶体管等设计相同的电子设备，其物理参数可能存在随机差异。受人体生物识别启发，本文提出一种新方法，使家用电器能够基于其电子眼（即内置摄像头）中嵌入的CMOS图像传感器（CIS）的内在特征拥有唯一身份。更具体而言，利用现代大多数CMOS图像传感器中不可避免存在的固定模式噪声（FPN）的列分量作为CIS的独特特征，以描述嵌入式系统的唯一ID。为了实际捕获原本通过相关双采样（CDS）过程消除的列固定模式噪声，本文还提出了一种新颖的读出方案。通过对12个CIS原型进行实际测量，评估了所提出的基于CIS识别方法的可行性。最后，列举了一系列需要唯一设备识别的应用，以展示该方法在消费电子领域的实用性。

索引术语

设备生物识别，CMOS图像传感器，固定模式噪声，列固定模式噪声

一、引言

随着通过互联网连接的电子设备数量不断增加，每个设备的识别变得尤为重要。解决此问题的一种方法是分配一个唯一且不可更改的序列号。例如，可以通过将系统的身份证号码存储在其一次性可编程存储器中来实现永久识别。然而，除了易受攻击性之外，这种方法并不总是适用，因为它需要在系统中增加额外的成本和空间。此外，在物联网时代，除非全球制造的所有设备均由中央机构进行持续管理，否则每个设备身份证号码的唯一性无法得到完全保证，而目前这种实施尚不可行。因此，生成唯一且无法复制和篡改的身份证号码（ID number）对于大多数现代消费电子设备而言至关重要。本文提出了一种基于嵌入式图像传感器固有特性生成唯一身份证号码的新方法。

已有多种研究致力于利用硬件内在特征实现唯一对象/设备身份识别，类似于人体生物识别（human biometrics）。例如，Pappu 等人进行的一项开创性研究提出了物理不可克隆函数（PUF）的概念，该方法利用一种称为令牌（token）的物理对象内部三维粒子（3D particles）的随机分布 [1]。当激光以特定入射角投射到令牌表面时，系统会根据随机生成的激光散斑图案产生唯一的密钥（unique key）。此外，Suh 和 Devadas 提出了一种基于多个多路复用器（MUXes）和一个仲裁器（arbiter）的PUF系统 [2]。该电路利用固有的延迟特性，根据串行连接的多路复用器传播的延迟决定1位输出（0/1）。通过对每个多路复用器的输入进行随机化，系统可生成多个唯一数字。在另一项研究中，Roy 等人提出了一种片上PUF，其基于器件之间电容网络（capacitance networks）的差异 [3]；该系统能够根据梳状电容器结构的电容值获得自身的唯一ID，而该电容值主要由随机分布的介电粒子（TiO2）和导电（TiN）粒子决定。在另一项研究中，SRAM（静态随机存取存储器）的固有特性被用于设备指纹识别 [4]。该系统利用了在亚稳态（metastable state）期间测得的各个SRAM单元值的随机分布，这部分由工艺变异（process variations）决定。该系统相较于其他PUF系统具有一项优势：许多系统已经集成了SRAM，因此无需额外的PUF电路即可获取设备的唯一指纹。铃木和清水提出了一种低成本可集成于大规模集成电路器件（LSI device）的基于延迟的PUF系统（delay‐based PUF system）[5]。该系统利用短暂的毛刺波形（glitch waveforms），能够生成与设备绑定的唯一数字。

受人眼独特虹膜图案的启发，本文提出了一种新颖的认证方法，利用嵌入式CIS电子设备之间的失配特性[6]。在CMOS图像传感器的特性中，本文采用了可建模为时间无关空间白噪声过程[7],的固定模式噪声（FPN）的列分量。由于在5 μm以下的列间距限制了列电路[6]中晶体管的尺寸，这种现象始终存在。为了实现鲁棒性，提出了一种新的读出方案，用于在无时变随机噪声（kTC噪声）的情况下捕获原本通过相关双采样（CDS）被消除（未测量）的列固定模式噪声（column FPN）。

本文做出如下贡献：（1）一种针对列固定模式噪声的鲁棒读出方案，该方案无需硬件修改，并可扩展至带有嵌入式CMOS图像传感器的低端设备；（2）一种从捕获的列固定模式噪声中进行ID生成的算法；（3）对所提出方法的评估。

II. 固定模式噪声的获取

本节描述了一种在CMOS图像传感器中获取固定模式噪声的方法。由于每个像素和列电路在几何结构、寄生RC以及阈值电压[8],[9]上存在工艺变异，固定模式噪声是CMOS图像传感器固有的。CMOS图像传感器包含两种类型的固定模式噪声：来自像素电路的像素固定模式噪声和来自列并行电路的列固定模式噪声。

像素固定模式噪声（FPN）的主要来源是像素内源极跟随器的阈值电压（VT）变化。图1展示了一个在现代CMOS图像传感器中广泛使用的四晶体管（4‐T）像素电路[10],[11]。图1中的时序图说明了4‐T像素的工作过程。浮置扩散（FD）节点通过复位晶体管（R）进行复位。如果复位晶体管R的栅极电压被提升至 VDD+ VT，则FD节点的复位电压为电源电压（VDD）。像素内源极跟随器通过晶体管SF将FD节点电压（VFD）缓冲，并在SF晶体管上产生VT的压降，从而生成VPIX为VFD – VT。因此，在时间点 t1的VPIX即为复位电压（VRST），如

$$
V_{RST} = V_{DD} - V_{CH} - V_T + V_{kTC} + V_{FPN1}
$$

其中，VCH 是复位晶体管中由电荷注入和时钟馈通引起的电压变化，VkTC 是kTC复位噪声，VFPN1 是由 VT 变化引起的固定模式噪声。注意，VRST 包含一个随时间变化的随机噪声（VkTC），该噪声是来自 RR 和 CFD 的低通滤波热噪声，其中 RR 为复位晶体管的沟道电阻，CFD 为浮置扩散节点的电容。随后使能电子快门（TX），将光电二极管中积分的电荷转移到浮置扩散节点。电荷转移后，浮置扩散节点的信号电压为 VDD – Q/CFD，其中 Q 为光电二极管中积累的电荷量。因此，在时间点t2的 VPIX 即为信号电压（VSIG），如

$$
V_{SIG} = V_{DD} - V_{CH} - V_T + V_{kTC} + V_{FPN1} - \frac{Q}{C_{FD}}
$$

A. 固定模式噪声消除

为了抑制像素固定模式噪声（FPN）和kTC复位噪声，CMOS图像传感器（CIS）在列并行电路中采用相关双采样（CDS），如图1所示。列并行可编程增益放大器（PGA）电路在模数转换之前执行CDS。用于CDS的PGA电路如图2所示。该PGA电路从一个像素获取两个具有相同FPN和kTC噪声的采样（VRST和VSIG），并通过相减消除噪声。在时间点t1，VRST被采样到C1上，同时形成单位增益反馈（F = 1）。

在t2时刻，反馈被移除后，VSIG被输入到C1中。由C1中的输入电压变化产生的电荷被转移到C2 ，从而生成输出电压。

$$
V_{PGA} = V_{REF} + V_{OFF1} + \Delta V_{PGA}
$$

电容C2（或C1）被选择为可变的，以提供可编程增益放大，从而抑制折合到输入的噪声[10],[12]。尽管该PGA电路抑制了像素固定模式噪声和kTC噪声，但PGA中的放大器电路具有固有偏移电压（VOFF1），主要归因于放大器电路中两个输入晶体管（“‐”输入和“+” 输入）之间的VT失配。

由于VOFF1，实际输出为VREF+ VOFF1+ ˂ VPGA。因为 VOFF1会导致列固定模式噪声，所以应在列并行模数转换器中将其消除。类似于像素固定模式噪声的消除方法，在模数转换器中通过减去两个具有相同偏移电压的采样来实现。第一个采样是时间点t1时的VREF+ VOFF1 ，第二个采样是时间点t2时的VREF+ VOFF1+˂ VPGA 。

电路和 (b) 相关双采样的时序图)

图3 描述了一种单斜率模数转换电路，这是CMOS图像传感器中最广泛使用的电路 [13],[14]。PGA电路的输出与一个斜坡信号（VRAMP）进行比较，同时一个N位上下计数器执行数字计数。当VRAMP超过VPGA时，比较器停止计数，并存储相应的数字码。与PGA电路类似，比较器电路也存在偏移电压（VOFF2），这会导致列固定模式噪声。然而，VOFF2和VOFF1可以通过ADC中的双采样操作轻松消除。

在时间点t1，来自PGA的VREF+ VOFF1通过向下计数被转换为数字码。在时间点t2，VREF+ VOFF1+ ˂ VPGA通过向上计数被转换为数字码。t1和t2处的两个样本都包含对应于V OFF1+ VOFF2的数字码，但由于向上计数/向下计数具有相反符号，从而在最终数字码中消除了列固定模式噪声。

B. 固定模式噪声读出方案

由于CMOS图像传感器（CIS）的输出信号通过相关双采样（CDS）抑制了固定模式噪声（FPNs）而未测量 FPN，因此系统需要一种专用的读出方案来获取FPN信号。一种方法是读取包含像素固定模式噪声（VFPN1）的VRST ，如公式(1)所述，同时旁路PGA电路（即消除CDS操作）。然而，VRST包含随时间变化的随机噪声VkTC ，这无法保证每次采集时都具有一致的信号生成。此外，kTC噪声在较高温度下会增加，不利于稳定的ID生成。因此，相较于受kTC噪声影响的像素固定模式噪声，获取列固定模式噪声更为理想。

，同时启用单位增益反馈（F = “1”）。VPGA通过在ADC中进行向下计数被转换为数字码（DOUT）。所得的DOUT包含来自PGA电路的列固定模式噪声（VOFF1）以及来自ADC电路的固定模式噪声（VOFF2）)

图4展示了提出的固定模式噪声读出方案。为了读取列固定模式噪声，仅通过构建单位增益反馈（F = “1”）从PGA产生一个参考电压VREF+ VOFF1, 包含VOFF1的电压随后仅通过向下计数转换为数字码。需要注意的是，比较器的偏移电压VOFF2并未像图3(b)所示的双采样操作中那样被消除。最终数字码DOUT对应于VREF+ VOFF1+ VOFF2，其中包括来自PGA电路和ADC电路的列固定模式噪声。如图4所示，固定模式噪声读出方案可以通过简单修改控制时序来实现，而无需使用额外电路。该固定模式噪声读出方案的实验结果将在下一节中描述。

C. 测试CIS原型

原型CIS采用0.11 Pm 1P4M CIS工艺制造。整个芯片的尺寸为5 × 5 mm² ，包括640 × 480像素阵列、PGA、ADC和外围电路。封装的原型传感器安装在测试电路板上，该测试电路板提供电源电压和数字控制信号。镜头的光圈值和焦距分别为1.6和16毫米。如第二节所述，采用提出的固定模式噪声读出方案从PGA电路和ADC电路中读取列固定模式噪声。

III. 算法

A. 预处理

由于阈值电压随温度升高而降低[15], ，系统必须解决温度引起的阈值变化，以在稳态方式下获取内在特征。根据阈值变化与温度之间的线性关系，定义为，

$$
\frac{\partial V_T}{\partial T} = -k \quad \text{(单位：mV/°C)}
$$

其中k是一个正的常数，给定温度下的阈值电压平均值可以被估计。

公式(4)的线性特性导致FPN的直流分量发生变化，如图6所示。因此，可以使用简单的直流分量去除过程作为基准线滤波器，从而使所提出的列固定模式噪声的温度补偿成为一项次要任务。需要注意的是，此处的温度变化与kTC噪声无关，因为该噪声在第二节所述的读出方案中已被消除。

随着温度升高，整体图像变暗。

图7展示了温度校准信号的示例，以及在相同温度条件下来自不同传感器的列固定模式噪声的比较。(a) 注意，为了便于可视化，图7中仅显示了10%的数据。

如图7(c)所示，由于固定模式噪声的随机特性，不同的传感器表现出完全不同的噪声模式。需要注意的是，即使固定模式噪声值被量化为5比特，并且仅使用64列进行模式比较，两个不同传感器具有相同的固定模式噪声模式的概率也仅为(1/2⁵)⁶⁴ ≈ 4.68×10⁻⁹⁷，这表明图像传感器不可能具有相同的固定模式噪声模式。该特性使得基于列固定模式噪声的一种用于电子设备生物识别的方法成为可能。由于VT与地电压变化 [15]之间存在线性关系，因此也可以以类似方式减轻地电压变化带来的影响。

B. 密钥生成

在获取并校准列固定模式噪声后，将利用其生成一个固定长度一维密钥。如图8所示，首先对单行的固定模式噪声值进行低通滤波，以去除高频空间成分，该单行可随机选择，或通过整行的平均值得到。

在一维密钥生成中，使用固定模式噪声（FPN）信号的极值作为关键特征，如图8(b)所示。图8(c)展示了一个由给定列固定模式噪声生成的密钥示例，该密钥是一组极值的位置。与之前的研究[1]类似，可以使用汉明或欧几里得距离来比较一个密钥与另一个密钥。如果在列宽度（例如，800万像素分辨率情况下的3264像素）中仅使用64像素（或比特）值作为密钥，则两个不同传感器具有相同密钥的可能性约为1/2⁶⁴ ≈ 5.42×10⁻²⁰，从而使误报的可能性显著降低。图9显示了传感器之间测量的差异性（条形高度越低，传感器之间的相似性越高）。

IV. 应用与扩展

A. 唯一设备识别

所提出的方法可用于各种需要唯一设备识别的场景。例如，在智能家居系统中，每个设备（如电视、冰箱、空调）都可以通过其内置摄像头的CMOS图像传感器进行身份认证，从而防止未经授权的设备接入网络。此外，在工业自动化中，机器人可以通过其“眼睛”的固定模式噪声被唯一识别，实现安全通信和任务分配。

B. 供应链防伪

在电子产品制造和分销过程中，假冒组件是一个严重问题。利用CMOS图像传感器的列固定模式噪声作为设备“指纹”，可以在出厂时注册每个设备的身份，并在后续环节中进行验证，有效防止伪造和替换行为。该方法无需额外硬件成本，适用于大规模部署。

C. 与人体生物识别的融合

所提出的方法可扩展至利用硬件和人类用户内在特征的双因素认证。通过该方法，可以缓解涉及恶意认证的问题（例如使用指纹复制），因为基于固定模式噪声（FPN）的方法要求无论是真实还是伪造的用户都必须与特定硬件一同物理存在。需要注意的是，从图像传感器获取的固定模式噪声（FPN）用于获取人体生物识别的数据。

预计基于硬件的认证过程所施加的物理约束将保护高度依赖密码/图案或人体生物识别的移动支付。

五、结论

本文提出了一种基于硬件的认证系统，该系统采用CMOS图像传感器以保护消费电子设备的安全。提出了一种新颖的控制方案，用于从图像传感器中捕获不含时变随机噪声（kTC噪声）的列固定模式噪声。此外，还提出了密钥生成和匹配算法的概念验证实现，能够有效消除温度和地电压变化的影响。利用12个CIS原型进行的实验结果证实了所提方法的可行性。应用领域包括每个系统的唯一标识至关重要，尤其是在消费电子领域也有相关设想。后续工作包括使用量产图像传感器对所提出方法进行评估。