34、模拟视网膜形态电路：地址事件表示与自适应中央凹技术-优快云博客

本文链接：https://blog.youkuaiyun.com/vscode6remote/article/details/149525211

模拟视网膜形态电路：地址事件表示与自适应中央凹技术

1. 地址事件表示（AER）概述

地址事件表示（AER）是一种用于视网膜及受视网膜启发处理的技术。在某些方案中，其输出仍是事件位置流，而有的方案则是AER与传统行光栅扫描的混合。

1.1 AER的碰撞问题

AER方法的主要缺点是尖峰之间存在时间间隙，这在光栅方法中是不存在的。这个时间间隙意味着在该死区时间内尝试输出的尖峰必须排队。如果尖峰率超过总体提取率，输出信息就有失真的危险。
- 像素密度与仲裁树及输出线电容 ：目前，大多数视网膜形态成像芯片的感光器密度较小。但商业上有用的视觉系统需要VGA分辨率（307 k像素）或更高。随着像素密度的增加，仲裁树和输出线的电容也会增加。例如，对于带宽为100 MHz的输出线，如果仲裁树的延迟为100 µs，有效带宽将仅为10 kHz。
- 碰撞对输出矩阵的影响 ：碰撞会以两种方式扭曲输出矩阵：
- 若碰撞事件被丢弃，输出值将与像素的自然事件生成值不匹配。
- 若碰撞事件被排队，排队时间会导致事件间定时与自然事件生成频率相比产生失真。

实际上，这两种失真类型会混合出现。当像素或行正在输出其数据时，其他已生成事件的像素将被有效排队，这会扭曲它们的事件定时输出。此外，一旦它们生成了一个事件，其事件生成器就不能再工作，因此在排队期间可能生成的任何额外事件都必须与其他也想请求总线的像素竞争。

对于速率编码，随着矩阵大小的增加，失真会大幅增加，因为最大吞吐量降低而事件输出增加。在尖峰编码AER和首次尖峰时间AER中，理论上较少的生成事件允许更多的吞吐量，但碰撞对信息输出的影响会更严重。

1.2 稀疏编码

AER用户社区充分意识到碰撞问题，因此使用地址事件系统的主要理由是处理稀疏编码数据。人类视网膜进行空间和运动处理，并分别通过小细胞和大细胞通路输出压缩后的数据，得到的图像仅占原始图像输出的一小部分。

如果将图像矩阵I(m, n)转换为尖峰形式，要提取的尖峰总数由以下公式给出：
[
\eta_I\Delta t = \sum_x\sum_y I_{ij} \cdot f(I)
]
其中，(\eta_I)是尖峰率，(I_{ij})是给定位置的像素强度。对于给定的卷积过程，尖峰总数将根据该卷积减少。以下是一个256 × 256图像的示例表格：
| 图像 | 占(a)的百分比 | 尖峰数 |
| — | — | — |
| (a) | 100% | (1.10 \times 10^7) |
| (b) | 30.96% | (3.41 \times 10^6) |
| (c) | 7.88% | (8.69 \times 10^5) |
| (d) | 2.11% | (2.33 \times 10^5) |

因此，如果我们想比较不同输出百分比的AER输出，只需在矩阵内缩放输出图像即可。

1.3 碰撞减少方法

支持地址事件系统的观点是，其目的不是提取整个图像，而是输出特定图像的显著特征，如边缘。因此，在给定时间框架内，可能只需要输出给定图像矩阵的10%。
- 排队系统 ：排队系统可以帮助减少碰撞。
- 首次尖峰时间协议 ：使用首次尖峰时间协议而不是速率编码可以减少尖峰总数。
- 字 - AER ：字 - AER也是一种增加带宽的有用方法。
- 中央凹方案 ：后续介绍的中央凹方案也有助于减少信息内容。

然而，AER方案可能仅适用于低带宽系统，即小传感器阵列而非大阵列。晶体管技术的缩放使单个晶体管更小、更快，但输出线的电容实际上在增加，这是RC时间常数的基础，它与晶体管缩小的比例不利，因此正迅速成为大多数电子电路，尤其是异步电路速度的限制因素。

2. 自适应中央凹（Foveation）

中央凹技术提供了在有限带宽条件下用空间分辨率换取时间分辨率的优势。

2.1 传统与电子中央凹方法对比

以往的工作主要集中在模仿生物学，通过在CMOS成像器中心物理定义一个分辨率提高的中央凹区域来开发中央凹视觉芯片。生物眼睛具有出色的光机械性能，能够在视野中高速移动。相比之下，即使使用现代MEMS技术，要以如此高的速度和精度、同时保持紧凑地定位基于硅的相机也是具有挑战性的。

而在硅中，可以电子方式定义和重新定位中央凹，这类似于生物学中通过运动实现的中央凹，但不需要传感器运动。因此，人工中央凹的一种好方法是电子方式而非物理方式。

2.2 自适应中央凹方案原理

自适应中央凹允许将一个区域指定为高空间分辨率的中央凹或高时间分辨率的周边。该方案不仅能指定作为中央凹的点，还能根据需要动态调整该区域的大小。中央凹区域的扩大或缩小可适应成像要求，只需要一个简单的反馈坐标。

其基本原理是将像素分组为感光器簇，并基于异步事件定时获取强度信息，而不是通过光栅扫描。感光器簇可以让其所有组成部分发送空间信息，也可以将其响应集成到一个单一的组合输出中。感光器簇之间的全局电流扩散网络可用于确定相对于初始位置的哪些簇被定义为中央凹或周边。

2.3 系统算法

该方案提议将像素组合成3 × 3像素的重复单元结构。这些单元结构中的9个像素可以作为单独的感光器，也可以作为一个单一的复合光传感器。组合时，光电流相加可提高光灵敏度，输出速度可以提高9倍，但空间分辨率会降低9倍。这样，单元结构可以被定义为中央凹（单独传感器）或周边（单一传感器）。

为了实现中央凹和周边的定义，使用了电流扩散和阈值技术。阵列中的感光器组可以使用(x, y)坐标进行寻址。当寻址特定组时，会向该组提供中央凹电流，随后该电流会衰减并扩散到相邻的感光器组。因此，从指定的中央凹到最远的周边存在一个衰减函数。由于中央凹不是预先确定的，每个点都会向其周围的感光器组反馈。然后可以使用阈值函数来区分中央凹和周边。

数学上，中央凹衰减电流可以用递归扩散函数描述：
[
I’ = I_{+x+y}\sum_{n = 0}^{\infty}\frac{n + 1}{a^{(2n + 1)}} + I_{-x+y}\sum_{n = 0}^{\infty}\frac{n + 1}{a^{(2n + 1)}} + I_{+x-y}\sum_{n = 0}^{\infty}\frac{n + 1}{a^{(2n + 1)}} + I_{-x-y}\sum_{n = 0}^{\infty}\frac{n + 1}{a^{(2n + 1)}}
]
其中，(I_{xy})是网格中相邻点的交互影响，(a)是衰减因子。为了使阵列在中心点稳定，衰减因子必须大于4。这些函数关系可以使用标准数学软件中的迭代递归求解。

为了能完全扩展到百万像素阵列，可能需要一个对数输出函数来实现中央凹的广泛可调扩散。

2.4 电路实现

中央凹控制电路通过向特定位置提供电流，并通过互连像素组网络进行扩散。在该方案中，(v_{fov})用于设置初始中央凹电流，定义初始电流水平，从而定义中央凹形状。(x_{fov})和(y_{fov})输入提供行和列坐标，用于选择中央凹质心。

中央凹电流随后被衰减2倍，并通过简单的镜像Q7到Q10分配到每个相邻像素。此外，从相邻单元接收到的电流也会通过接收到的(i_{sum})影响单元的有效中央凹电流贡献，该电流被衰减6倍。对于远离指定中央凹中心的像素组，这种影响是电流的唯一来源，因为初始中央凹电流仅提供给单个像素组。

这个有效电流然后使用简单的电流比较器进行阈值处理，并使用相对的CMOS对Q11和Q12实现。其工作原理是，有效中央凹电流将从由(v_{thres})设置的电流源Q11中吸收，从而驱动Q11或Q12进入其欧姆区域，这将导致节点(v_{out})处的电压摆动，提供中央凹控制信号。

这个电路类似于以前的伪电阻网络，但它是电流模式，对这种结构有一些优势。减少该电路的失配并不关键，因为中央凹的具体形状并不重要，因此该电路对填充因子的影响不大。

2.5 电路参数与性能

填充因子 ：表面填充因子对该结构的实用性非常重要。为了提供原理证明，设计了一个27 × 48像素（9× 16感光器簇）的阵列，并在标准0.25 µm CMOS工艺中进行制造。实现的光电二极管表面填充因子为22.4%，但在相同的整体单元尺寸内，填充因子达到30%或更高是可能的。
像素尺寸与分辨率 ：3 × 3像素组内的每个单独感光器的尺寸为25 × 25微米，包括中央凹开销。这与商业成像阵列尺寸相比具有优势，允许在25 mm × 25 mm的尺寸上实现百万像素分辨率。
读出系统 ：由于读出系统不是标准矩阵尺寸和读出功能，需要使用前面描述的AER读出。与之前的主要功能差异在于，在这种情况下，几个地址事件的信号传输会被抑制。当像素组作为周边像素时，它们将以单个地址事件而不是90个不同的地址事件发送信息。

2.6 中央凹技术的未来展望

原则上，这种中央凹技术并不局限于单个中央凹点。可以实现多个中央凹点，这带来了一些有趣的信息处理可能性。在人眼中，生物组件的物理限制使我们的视觉架构局限于单个中央凹点。但如果硅系统不受此限制，拥有多个中央凹点是否有优势呢？能否开发出针对不同任务设置特定中央凹的系统，例如用于阅读文本的中央凹和用于人脸识别的中央凹？这些问题还有待解答。

3. 总结

在摩尔定律、可重构数字逻辑和高功率计算机处理器的时代，模拟电子学可能看起来有些过时。虽然最初的竞争比较中，多GHz数字处理器似乎优于KHz速度的硅或生物神经元，但最快的数字计算引擎在实现人类视觉系统的视觉模式识别能力方面仍面临挑战。而且，人类视觉系统的功耗仅为4W，而高功率数字系统则消耗数百瓦。

因此，对于需要便携性的应用，需要低功耗算法，同时不能牺牲数学要求。本文介绍的模拟视网膜形态电路中的地址事件表示和自适应中央凹技术，为实现低功耗、高效的视觉处理提供了有前景的方向。随着晶体管尺寸不断向纳米级发展，这种智能成像技术将受到依赖有限电池供电的移动技术领域的更多关注。

4. 技术对比与优势分析

4.1 AER与传统扫描方法对比

比较项目	AER	传统扫描方法
输出形式	事件位置流或与传统行光栅扫描混合	通常为光栅扫描输出
碰撞问题	存在尖峰时间间隙导致碰撞及失真风险	不存在尖峰时间间隙问题
数据提取	适合提取显著特征，如边缘	可提取整个图像
带宽适应性	可能仅适用于低带宽系统，小传感器阵列	可适应不同带宽和阵列规模
处理效率	对于稀疏编码数据处理有优势	处理复杂场景效率可能较低

从表格对比可以看出，AER在处理特定类型数据和场景时具有独特优势，但也存在一定局限性。传统扫描方法则更为通用，但在某些特定应用中效率不如AER。

4.2 自适应中央凹与传统中央凹方法对比

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A(传统中央凹方法):::process --> B(物理定义中央凹区域):::process
    C(自适应中央凹方法):::process --> D(电子定义和重新定位中央凹):::process
    C --> E(动态调整中央凹区域大小):::process
    C --> F(基于异步事件定时获取信息):::process

传统中央凹方法主要通过物理方式在CMOS成像器中心定义中央凹区域，依赖生物眼睛的光机械性能实现视野移动。而自适应中央凹方法采用电子方式，不仅能灵活定义和重新定位中央凹，还能根据成像需求动态调整区域大小，并且基于异步事件定时获取信息，避免了物理移动的局限性，在灵活性和适应性方面具有明显优势。

5. 应用场景探讨

5.1 AER的应用场景

智能监控系统 ：在监控场景中，大部分时间画面可能是静止的，只有少数区域会出现动态变化。AER可以只提取这些显著变化的区域信息，如人员或物体的移动，减少数据传输量，提高处理效率，降低系统功耗。
机器人视觉 ：机器人在执行任务时，需要快速识别环境中的关键信息，如障碍物、目标物体等。AER的稀疏编码和显著特征提取能力可以帮助机器人快速获取这些信息，同时减少计算负担，提高响应速度。
医疗影像分析 ：在医疗影像中，如X光、CT等，可能只有部分区域包含病变信息。AER可以聚焦于这些关键区域，减少不必要的数据处理，提高诊断效率和准确性。

5.2 自适应中央凹技术的应用场景

虚拟现实（VR）和增强现实（AR） ：在VR/AR应用中，用户的注意力通常集中在视野的特定区域。自适应中央凹技术可以将高分辨率资源集中在这些关注区域，提高视觉体验，同时减少数据处理量，降低系统功耗，延长设备续航时间。
自动驾驶 ：自动驾驶车辆需要实时处理大量的视觉信息，如道路标志、行人、其他车辆等。自适应中央凹技术可以根据车辆的行驶状态和环境情况，动态调整中央凹区域，将高分辨率处理资源分配到关键区域，提高识别准确性和决策速度。
智能安防摄像头 ：安防摄像头可以利用自适应中央凹技术，在监控大面积场景时，将高分辨率区域集中在可能出现异常情况的区域，如出入口、重要设备周围等，提高监控效果，同时减少存储和传输的数据量。

6. 技术挑战与解决方案

6.1 AER面临的挑战与解决方案

碰撞问题 ：随着像素密度增加，仲裁树和输出线电容增大，导致碰撞和失真风险增加。解决方案包括使用排队系统、首次尖峰时间协议、字 - AER等方法减少尖峰数量和提高带宽，同时优化电路设计，降低输出线电容的影响。
带宽限制 ：AER方案目前可能仅适用于低带宽系统。可以通过进一步研究和开发新的编码方式和传输协议，提高数据传输效率，拓展AER在高带宽场景下的应用。
信息完整性 ：碰撞可能导致信息丢失或失真，影响信息完整性。可以采用冗余编码、错误纠正等技术，提高信息传输的可靠性。

6.2 自适应中央凹技术面临的挑战与解决方案

电路复杂度 ：实现自适应中央凹技术需要复杂的电路设计，如电流扩散网络、阈值处理电路等。可以通过优化电路结构、采用先进的集成电路制造工艺，降低电路复杂度和功耗。
动态调整的准确性 ：动态调整中央凹区域大小和位置需要准确的反馈和控制机制。可以引入智能算法，如机器学习算法，根据成像需求和环境情况自动调整中央凹参数，提高调整的准确性和灵活性。
与其他系统的兼容性 ：自适应中央凹技术需要与成像系统、数据处理系统等其他部分兼容。可以制定统一的接口标准和通信协议，确保各部分之间的协同工作。

7. 未来发展趋势

7.1 AER的发展趋势

与深度学习结合 ：将AER与深度学习算法相结合，可以充分发挥AER在数据处理和特征提取方面的优势，提高深度学习模型的效率和性能。例如，使用AER提取图像的显著特征，然后输入到深度学习模型中进行分类和识别。
多模态融合 ：将AER与其他传感器技术，如激光雷达、毫米波雷达等进行多模态融合，可以获取更全面、准确的环境信息，提高系统的感知能力和决策准确性。
硬件优化 ：随着集成电路技术的不断发展，AER硬件将不断优化，如降低功耗、提高带宽、减小尺寸等，使其更适合应用于各种移动设备和嵌入式系统。

7.2 自适应中央凹技术的发展趋势

多中央凹实现 ：如前文所述，实现多个中央凹点将带来更多的信息处理可能性。未来可能会开发出支持多个中央凹的系统，以满足不同任务和场景的需求。
智能化自适应 ：自适应中央凹技术将更加智能化，能够根据不同的应用场景和用户需求，自动调整中央凹的参数和位置，实现更加高效、灵活的视觉处理。
跨领域应用拓展 ：自适应中央凹技术不仅局限于视觉领域，未来可能会拓展到其他领域，如音频处理、触觉感知等，实现多感官的中央凹处理。

8. 结语

模拟视网膜形态电路中的地址事件表示和自适应中央凹技术为视觉处理领域带来了新的思路和方法。它们在低功耗、高效处理和灵活性方面具有显著优势，适用于多种应用场景。虽然目前这些技术还面临一些挑战，但随着技术的不断发展和创新，相信它们将在未来的智能成像和视觉处理领域发挥重要作用。无论是在消费电子、工业自动化还是医疗、安防等领域，这些技术都有望为我们带来更加智能、高效的视觉体验。