1、自动驾驶感知中的传感器内视觉设备技术解析

自动驾驶感知中的传感器内视觉设备技术解析

1. 引言

视觉作为一种感知手段，其重要性不言而喻，它能够高效地收集和解读信息。在诸如机器视觉、机器人技术、物联网和人工智能等领域，迫切需要开发出能够以超高速度运行且能耗极低的视觉信息处理方法和技术。

传统的机器视觉系统及其相关技术存在诸多限制，包括系统延迟、高功耗和隐私问题。与哺乳动物视网膜通过多层细胞快速处理原始信号的机制不同，传统机器视觉系统中的视觉信号数字化、存储和传输过程会引入显著的时间延迟，这不仅阻碍了对动态变化的快速响应，还会因处理无关数据而导致效率低下。此外，像 CPU、GPU、VPU、DSP 等外部图像处理器功耗较高，不利于便携式任务。无处不在的传感器产生的大量数据可能会掩盖有用信息，因此需要终端传感器提取关键信息，以减少从传感芯片到处理单元的数据移动。在对隐私敏感的场景中，可能需要从原始模拟信号中提取关键信息，而非依赖采集的图像。

为解决这些问题，提出了向传感器内计算的范式转变。这种方法受到哺乳动物视网膜的启发，视觉传感器不仅能获取视觉信息，还能对其进行处理，生成高度压缩的信息而非视频帧。传感器内计算提供了无图像的视觉信号处理方式，确保了数据的保密性。这一跨学科领域涵盖了传感器、模拟信号处理、近传感器计算和内存计算等多种技术。传感器内计算设备是将感知、临时存储以及对原始模拟信号的数据处理和分析集成在传感芯片内的传感器。虽然近传感器计算可以减少传感和计算之间的物理距离，但仍需要将数据从传感器传输到处理器。内存计算则使用忆阻器进行存储和计算，利用可调电阻作为突触权重。

2. 传感器内计算设备

2.1 架构

近年来，传感器内计算设备取得了进展，目前主要有两种