逆向工程树莓派相机V2

逆向工程树莓派相机V2：使用扫描电子显微镜研究像素非均匀性

摘要

本文中，我们对索尼IMX219PQ图像传感器（即树莓派相机v2.0）进行逆向工程。通过分析晶体管长度、微透镜光学系统以及光电二极管的变异，我们为像素非均匀性提供了可视化参考。我们利用这些测量结果展示微观层面的不规则性，并将其与作为离散图像传感器唯一识别所用的像素非均匀性信号变化关联起来。
© 2020 Elsevier Ltd. 保留所有权利。

1. 引言

传感器模式噪声（SPN）已被视为一种可行的方法，用于识别拍摄特定图像的唯一相机。这些方法依赖于单个像素的非均匀性（即像素非均匀性（PNU）），以建立唯一的参考模式。现有文献中尚存在空白，未能清晰解释PNU的成因，尤其缺乏面向陪审员说明目的的阐述。基于PNU的SPN方法对于情报界、执法部门具有重要意义，并可为摄影师提供额外应用，使其能够在不依赖元数据或附加水印的情况下确认图像所有权。在美国，司法鉴定界对技术的接受程度是道伯特标准判定证据可采性的关键要求。道伯特标准包含五个因素，用于判断法庭科学证据的可采性，这五个因素分别是：可检验理论、理论的同行评审与发表情况、方法论的已知错误率、操作标准的存在性，以及是否获得广泛接受（道伯特诉默克·沙东制药公司案（1993））。其他司法管辖区也存在类似证据要求。尽管SPN方法已为司法鉴定界所接受，但仍存在一定风险，外行陪审员若无数学背景，可能会对法庭环境中提出的证据感到困惑。这种情况可能因CSI效应等问题而加剧，即陪审员期望用好莱坞科学取代真实的法医方法论。

图1 显示了本研究中使用的噪声模型。传感器模式噪声依赖于光响应非均匀性（PNU），并可分为两个不同的类别：一类是由光子引起的光响应非均匀性噪声（PRNU），另一类是在无光照条件下传感器产生的电荷（暗电流）所导致的噪声。

本文探讨了IMX219PQ图像传感器的一些物理特性，提供了可能导致固定模式噪声（SPN）的变异的直接证据。我们对传感器设计进行逆向工程，并在扫描电子显微镜下分析图像传感器的三个特征：转移门长度、微透镜光学系统（LOS）内的变异以及光电二极管区域内的变异。我们假设这些特征中的变异主要由制造工艺中的公差引起，在高放大倍数下可被肉眼观察到，并可能导致光响应非均匀性（PNU）。我们基于观测到的变异提供了初步测量结果，并从理论上将其与SPN输出相关联。

2. 相关工作

现有文献对PNU的来源提供了一个笼统的说法（Lukas 等，2006）。“PNU是由硅片的不均匀性以及制造过程中的其他缺陷。” 此后，相关文献的研究重点一直集中在提高将图像与其相机关联的方法能力上，而非验证使该方法得以成立的假设。目前存在一个亟待解决的空白，即关于图像传感器像素单元内光响应非均匀性（PNU）主要来源的基本假设。若在法律环境中相关文献受到质疑，则澄清这一假设将为法医鉴定提供更清晰的依据。尽管我们并不认为上述笼统说法是错误的，但我们认为，目前缺乏文献证实该结果确实是传感器模式噪声的主要来源。

我们关注三个可能导致用于唯一识别每个传感器的光响应非均匀性（PNU）的特征类别。这些类别包括转移门长度的变异、微透镜光学系统（LOS）的变异以及光电二极管本身的变异。该方法的合理性将在下文的相关工作中予以说明。

里佐洛等人（2018）对图像传感器结构内关键几何特性及其对电荷转移效率（CTE）的影响进行了分析。离散像素的CTE值变化将导致光响应非均匀性（PNU）。里佐洛等人（2018）研究的几何因素包括光电二极管尺寸、转移门长度以及检测节点（SN）存储区域。检测节点（SN）也被称为浮动扩散区（FD），这两个术语可互换使用。在这两种情况下，该区域均指一个高导电区域，不通过电阻连接，用于存储电荷，实际上就是一个电容器。里佐洛等人（2018）表明，在所有几何变异的情况下，影响器件CTE的是这些关键几何结构的长度。光电二极管与检测节点之间电荷转移不完全还会导致单个像素的图像滞后和噪声（福索姆和洪东瓦，2014）。这为测量转移门长度以及光电二极管尺寸作为PNU可能来源提供了依据。

转移门的差异也是导致暗电流变异的原因。暗电流在转移门中产生于硅与二氧化硅界面或栅极表面以下的缺陷（福索姆和洪东瓦，2014）。我们此前已展示了利用暗电流进行图像传感器热识别的方法（Matthews 等人，2018b，2019a）。暗电流还被单独使用或结合PRNU用于图像识别（黑泽等人，2013）。因此，测量转移门内部的差异提供了进一步的理由，因为更大的栅极将为暗电流的产生提供更大的表面积相互作用。

我们先前已表明，在源成像伪影（SPN）方法中存在镜头效应的污染（Matthews 等人，2017，2018a；2019b）。Chandrakanta 和 Devassy（2017）展示了光电二极管输出的非均匀性。具体而言，他们展示了当使用635纳米激光以不同位移激发时，该二极管输出的非均匀性（fically, they showed the non‐uniform output of the diode while being excited by a 635nm laser through varying displacement（Chandrakanta and Devassy, 2017，图2 c）。根据本研究中展示的非均匀输出，推测这可能是图像传感器中光响应非均匀性（PNU）的一个成因。假设这是图像传感器中PNU的一个成因，则理论上这种现象会表现为微透镜阵列上层结构（micro LOS）中的错位，导致聚焦或filtering photons to different areas of the depletion region of the photodiode. This would be distinctively different to PNU being caused by variance in doping levels within the photo-diode or the size of the photodiode during manufacture. Such misalignments should be possible to visually see under cross-sectional analysis through the use of a scanning electron microscope. This provides justification to examine the micro LOS of the image sensor.

3. 研究方法

以索尼IMX219PQ（索尼半导体，2014a）图像传感器作为测试对象，在FEI双束Helios Nano Lab 600扫描电子显微镜下进行了成像（FEI，2015）。Helios 能够在 15 千伏下实现低至 1 纳米的成像。由于图像传感器主要由硅构成，因此对电子束具有导电性，样品在成像前所需准备极少。IMX219PQ 由树莓派基金会以封装板形式提供。该传感器经过拆解，以分离出硅晶圆，使其与外围电路脱离，并通过导电胶点固定到 FEI 成像平台。将平台倾斜 52 以使镓聚焦离子束能够进行成像和加工。

在放大情况下，对待挖蚀区域上方沉积一层铂，以防止开裂（图2a）。铂层沉积完成后，使用镓离子束进行一系列阶梯式切割，在传感器中形成可成像的挖蚀区域（图2b）。镓离子束可实现低至 5 纳米的加工，从而实现精确切割。这是一个破坏性过程。

使用最高100,000倍放大倍数（400 纳米尺度），电流为0.086 纳安至0.17 纳安，电压为5 千伏至15 千伏，获取集成CMOS图像传感器（CIS）顶层的图像，该顶层包含pinned 光电二极管及其相关的供电和读出电路。仅对顶层硅晶圆进行研究。

4. 数据采集与分析

4.1. 逆向工程

使用Fossum 和 Hondongwa (2014)，图3和图4 展示了CIS的各层结构，并对每个区域进行了标识。fi该传感器为背照式传感器（BIS），带有pinned 光电二极管（PPD）。P型掺杂半导体的þpinning层可在图4中看到。图3 中测量的传感器厚度约为6微米。这与索尼半导体（2014c）提供的文献一致，该文献也指出采用双晶圆设计。这些图像中也证实了这一点，在距微透镜阵列上层结构顶部适当距离处可看到fi两个晶圆之间的键合界面，如图3所示。在微透镜光学系统中，结构依次为主透镜、钝化层、拜耳fi尔滤光片，然后是一个嵌入导线网格节点之间的次级子透镜。

导线网格的节点之间。光电二极管区域被识别出来，并位于两层P型掺杂半导体之间，以防止串扰。隔离区域位于用于光学隔离的导线网格正下方。这一点在fi导线网格下方。在图4 中更为清晰，显微镜聚焦在图像传感器的读出电路层上。

使用来自 Fossum 和 Hondongwa (2014) 的参考图像，可见于 图 4 中的拜耳滤色片元件被识别为绿色和红色。可以看出，红色滤色片元件比绿色的更薄，而蓝色元件更厚，并且几乎填满整个层。传输节点 （TX）在图像中可见。由此可以识别出位于金属层4中的各个传输晶体管、M1复位（RST）、M2源极跟随器（SF）以及M3列选择晶体管。这些节点的布线随后连接到下方的金属层，以提供对电路的读出访问，很可能连接至外围区域或下方的硅晶圆。TX导线位于第2金属层中，而电源电压（Vcc）、选择和列总线走线则被认为出现在第1金属层中。

利用上述信息，结合Fossum 和 Hondongwa (2014)以及索尼半导体（2014b），可以确定索尼IMX219PQ BIS像素单元的等效电路。通过查阅索尼半导体（2014b）可知，该传感器具备在三种模式下存储缺陷像素的能力：单个像素、按拜耳元件划分的单个相邻像素以及2x4相邻像素的独立块。了解传感器如何存储缺陷有助于理解其读出结构。由此可推断，该传感器的像素单元由2x4个光电二极管共享一个单个读出电路构成。根据Fossum 和 Hondongwa (2014)，该像素单元每八个光电二极管对应一个包含十一个晶体管的电路。采用常见的命名法“每个像素的平均晶体管数量”，可以看出IMX219PQ是一种1.375T（每8个像素11个晶体管）的设计。这一点在图5中已标明。

我们推测四叶形图案的使用方式与之前的索尼迭代版本相同，特别是传感器（索尼IMX145）（福索姆和洪东瓦，2014）。与文献中所示的等效电路（福索姆和洪东瓦，2014， 图9）不同，我们展示了两个感应节点位置，分别对应于两个像素子组中的感应节点，并参考了方丹在 （福索姆和洪东瓦，2014， 图10）中的工作，这些位置位于四叶草中心。我们注意到每个光电二极管在读出时，由于基尔霍夫电压定律，电荷将同时分布在两个节点上。读出电路是一个重要的区别点，因为它构成了暗电流的主要来源。具有不同读出结构（3T、4T、2T、1.75T）的传感器为法医识别提供了可能的差异来源。此类传感器构型的暗电流应在未来工作中进行测量。为了验证四叶草假设，我们在切去3.5微米材料后从顶部对传感器进行成像。这可以在图6中看到。像素单元及传感器的结构清晰可见。

4.2. 转移门

使用扫描电子显微镜（SEM）内置的测量工具对光电二极管的读出节点进行了测量，其中一个示例如图7所示。图7随后通过按比例打印图像并手动测量进行验证。这些结果如表1所示。

所有测量的转移节点均存在变异。六个转移节点的平均值为353纳米。通过测量每个转移节点与平均值的差异，得到双向公差为 þ27纳米和 46纳米。据此推算，可得特征尺寸为350纳米，工程公差为 ± 50纳米。多晶硅层的平均厚度为160纳米，金属层4的厚度约为280纳米。这与文献中提到的130纳米光刻工艺设计规则一致，需注意我们的金属层编号顺序是相反的（Tyagi等人，2000年）。该厚度在整个层中并不一致，在所获得的图像中，层的厚度存在局部增加和减少的情况。这种厚度变化将导致电路特征产生轻微的几何变异。随着各层变异的叠加，顶层中的这些厚度变异将变得更加明显。

由于观察到的转移门变异可能是进一步样品的指示，因此又对另外两个传感器上的更多转移门进行了测量。总共从传感器B测量了41个转移门和20个位置标记从左上角开始，顺时针旋转。

)

4.3. 微透镜光学系统

两个绿‐红拜耳元件在图9中叠加显示。在图9a中，展示了两个相邻同色微图像，这两个相同的拜耳元件在结构上存在明显的变异。染成蓝色的元件右侧缺失了较大的部分，而染成黄色的元件则略厚一些。裁剪后的图像通过Schindelin等人（2012年）中的Canny边缘检测器处理，以生成一个二值门，用于对比这两个滤光元件。Canny边缘检测器的结果如图9b所示。边缘检测结果中，蓝色元件以75%透明度叠加显示。颜色含义如下：白色表示先前染为黄色的元件1；深灰色表示先前染为蓝色的元件2，以75%透明度叠加；中等灰色表示两个元件重叠的区域。深灰色的出现是由于蓝色元件在黑色背景上以75%透明度叠加时，其非均匀组成造成的伪影，表明仅存在元件2的区域。这显示了两个位于光学阻挡层（金属网格）上方的彩色滤光阵列元件，其中元件2存在孔洞。这些微小变异可能导致产生赛德尔像差等光学像差，从而影响单个光子在光电二极管耗尽区的入射位置（赛德尔，1857；詹金斯和怀特，1957）。事实上，图9b中滤光元件边缘处元件2颜色的变化，表明该滤光元件具有非均匀性。

拜耳滤光片并非唯一被观察到存在不规则性并导致光学像差的区域。切开微透镜光学系统的顶层可露出微透镜与拜耳元件之间的钝化层。如图10所示，钝化层中的孔洞直接位于金属线栅元件上方。这是传感器结构中的另一类缺陷，且并非在每个像素上均匀分布。同样，微透镜阵列上层结构中孔洞的形成很可能引起像差（赛德尔，1857；詹金斯和怀特，1957）。

4.4. 光电二极管变异

四个光电二极管及其长度如图11所示。我们注意到由于高导电性的金属层导致图像中光电二极管区域出现荷电伪影，从而产生拖尾效应。测量时选择远离该伪影的位置，以避免任何污染。测量数据通过扫描电子显微镜获取，并按照第4.2节所述的手动标定方法进行确认。这些测量结果如表5所示。所有测量结果显示了光电二极管之间存在变异。

平均光电二极管宽度测量为894纳米，方差为 ± 14纳米。标称像素长度声明为1120纳米（1.12微米）（索尼半导体，2014b）。通过测量光电二极管区域之间隔离的长度，可以获得平均像素长度的测量值。P型介质隔离如上所述手动测量，并显示在表6中。测得的平均值为240纳米。将这两个平均测量值相加，得到平均像素长度为1134纳米（1.13微米）。在图11 中，四个像素在打印后使用直尺从第一个光电二极管边缘到第四个光电二极管边缘进行手动测量，得到长度为1127.5纳米（1.13微米）。这些测量结果表明，观察到的像素长度略大于文档中所述的数值。

像素间尺寸的差异很可能是传感器上产生光响应非均匀性（PNU）的一个重要原因，因为不同尺寸的光电二极管会测量到不同量的光，并具有不同的暗电流。

敏锐的观察者会注意到，在图5中，测量值与特征真实边缘之间存在对齐偏差。这种错位是由于在获取用于发表的高分辨率图像时，电子束柱的光栅扫描过程所致。尽管此类错位可能影响测量的正确度，但由于采用标准流程进行测量，精密度不受影响。光电二极管获得的可重复测量结果证实了这种精密度。文献支持我们的观点是关注精密度和重复性，而非测量的正确度。波斯特克等人在他们关于扫描电子显微镜误差综述的第一部分中确认了这一点。“精密度是准确度的必要但不充分条件”（Postek and Vlad ar, 2013年）。转移门的变异可以通过该扫描电子显微镜轻松测量。虽然其精确长度可能并未完全准确表示，但我们最感兴趣的是其变异情况，而Helios 600完全有能力捕捉到这一测量结果。此处我们采用ISO 5725中对正确度和精密度的标准定义来界定准确度（ISO, 1994）。

表5 光电二极管长度
光电二极管
—
1 Gr
2 R
3 Gr
4 R

表6 隔离长度
P隔离
—
1 Gr
2 R
3 Gr
4 R

5. 测量不确定度

使用 Helios Nanolab 600i 聚焦离子束系统能够获取高分辨率图像。Postek 和 Vlad （2013年）在扫描电子显微镜测量不确定度领域进行了重要的研究。“测量的精密度通常可以达到或优于 0.2 nm”。内置软件可实现测量的高度重复性和精密度。如果设备得到妥善维护和校准，Helios Nanolab 600i 能够实现高度的准确性和精密度。当设备未定期校准时，测量结果的误差可高达60%（Postekand Vlad ar, 2013年）。

本研究中进行的大部分测量均为“间距”测量，即在由感兴趣区域确定的两个明显垂直线之间的测量。此类测量中常见的系统误差来源包括电子束相互作用效应和振动。这些测量误差被认为可以忽略不计，正如文献中所证明的那样（Jensen,1980；Jensen和Swyt, 1980； Larrabee和Postek Jr,1994）。

然而，我们承认测量中仍存在一定水平的误差。使用标准误差公式，我们得到测量值的以下双向公差，如表7 和 表8所示。

本研究中，FIB Helios 600 的校准记录已由阿德莱德显微技术中心的技术人员确认。经确定，FIB Helios 600 能够测量本研究中所探讨的特征。关于测量不确定度在扫描电镜图像中的应用的更详细讨论，我们将会请参考 波斯特克和弗拉德 （2013年） 的系列论文。

表7 传感器A测量误差
传感器A
—
厚度
长度

表8 传感器B测量误差
传感器B
—
厚度
长度

6. 讨论

暗电流和光电响应非均匀性噪声是SPN方法中用于从候选照片识别离散图像传感器的主要候选因素。黑泽等人（2013）和卢卡斯等人（2006）已展示了该方法可成功应用的迹象。第4.2节和4.4节中显示的缺陷是图像传感器及电路中的特征，这些特征很可能是导致暗电流和光电响应非均匀性在唯一识别中表现出非均匀特性的原因。There is a strong suggestion that the variation, particularly from the transfer gate, is linked to the sensor pattern noise measured in SPN methods of image identification as the variation will change the properties of the charge output of the sensor.

镜头像差申崔等人，2006已知可将图像与相机关联起来。第4.3节展示了微透镜阵列上层结构中的不规则性，该结构与图像传感器不可分离。通常情况下，镜头像差将图像与可从相机中分离的微透镜光学系统相关联。而在本文所述的情况下，微透镜阵列上层结构内的缺陷与传感器本身不可分离，因此应提供与图像传感器的法医关联，而非与微透镜光学系统的关联。

需要注意的是，当我们和文献中提到制造缺陷时，并不是指通常意义上的质量控制问题。通常情况下，缺陷会导致传感器或整个晶圆报废，而我们讨论的缺陷是微小的，仍能使传感器在设计的工程公差范围内正常运行。本文所利用的正是这种在公差范围内的变异性，用于法医识别。虽然这种痕迹被视为唯一，但同样需要指出的是，这一点尚未得到证实。迄今为止，最大规模的此类方法测试是由戈尔詹等人（2009） 完成的，研究发现，采用当前最先进的峰值相关估计（PCE）识别方法，误接受率低于125,000分之3。由于本研究是面向陪审员进行的，因此为了符合道伯特标准，有必要强调这一区别。

7. 结论与未来工作

本文展示了在微观层面上图像传感器的硅结构中存在像素非均匀性。我们展示了图像传感器内离散层之间的非均匀性。尽管这些非均匀性不会影响传感器的整体图像性能，但它们确实会引入一种称为PNU的加性噪声。这验证了我们的假设：传感器模式噪声除了此前假设的硅晶圆非均质性外，还存在其他成因。本研究特别关注了转移门及其相关的读出电路，而对光电二极管的研究仍有待进一步开展。这项工作引起了人们对成像传感器上电子电路物理特性的变异性的关注，有助于从部分上解释传感器模式噪声的产生机制。我们尚未考虑由化学层面变异性（如掺杂浓度和污染）引起的半导体性能变化，也未分析其他读出电路配置，这些问题有待未来研究。我们对物理尺寸变异性的探讨也可能有助于向普通受众部分解释传感器模式噪声的来源。