4、用于感知和推理的传感器内视觉设备

用于感知和推理的传感器内视觉设备

1. 引言

视觉是人类获取信息的主要途径，在全球范围内，通过视觉获取的信息占据了绝大部分。传统的计算机视觉系统虽然取得了显著进展，但仍存在诸多局限性，如系统延迟和高功耗等问题。图像数字化、存储和传输过程会引入延迟，这成为传统机器视觉系统及时响应环境变化的瓶颈。此外，传统机器视觉系统中传感器和处理器集成松散，导致能量成本高、重量大、体积大，不适合便携式任务。

2. 传统机器视觉系统的局限性

2.1 系统延迟

图像数字化、存储和传输过程中产生的延迟，使传统机器视觉系统难以迅速对环境变化做出反应。例如，在需要实时响应的场景中，如自动驾驶、机器人导航等，延迟可能导致严重的后果。

2.2 高功耗、大体积和重量

传统系统中传感器和处理器的松散集成，使得系统的能量消耗大、体积大、重量大。这不仅增加了设备的成本和能耗，还限制了其在便携式设备中的应用。

3. 新型视觉信息处理方案

为解决传统机器视觉系统的局限性，提出了一种使用焦平面传感器处理器（FPSP）的新型视觉信息处理方案。该方案直接在信号收集处处理信号，避免了延迟、功耗和尺寸等问题。

3.1 应用场景 - 移动机器人控制系统

该方案主要聚焦于移动机器人控制系统，利用传感器内计算结果进行多导航研究。通过在传感器内直接处理视觉信息，机器人可以更快速、准确地做出决策，实现高效的导航。

3.2 并行视觉推理方法

研究了新颖的并行视觉推理方法，特别是基于机器学习的算法，以从模拟信号中提取更高级别的信息。具体来说，提出