25、用于自主越野导航的事件视觉

用于自主越野导航的事件视觉

1 端到端深度神经网络模型

提出的端到端深度神经网络包含深度估计分支和转向分支。深度图可通过现代计算机视觉技术分析或从神经网络推断得出。该模型源自苏黎世大学信息学系开发的两个独立模型，主要创新在于将联合系统整合为一个可训练模型，并将基于异步编码器 - 解码器的嵌入骨干调整为更高效的轻量级变体，以适应受限硬件部署。

2 事件预处理

由于传感器设计，易受背景活动噪声影响，这种噪声由循环噪声和电路泄漏电流引起，在光线不足或灵敏度增加时更为明显。因此，很多应用场景需要使用滤波器。

2.1 噪声去除算法

• knoise ：具有 O(N) 内存复杂度的背景去除能力，适用于对内存敏感的任务，如越野导航平台。该方法存储事件流中特定时间戳内每行每列唯一的恢复事件，可最小化板载处理器的内存使用，误差率比以往的时空滤波器设计低数十个数量级。
• ynoise ：提供两阶段过滤解决方案，基于热点像素周围时空窗口内事件的持续时间丢弃背景活动。

以下是两种算法与 iniVation 通用噪声去除算法的定性比较结果：
| 算法 | 特点 |
| ---- | ---- |
| knoise | O(N) 内存复杂度，适合内存敏感任务 |
| ynoise | 两阶段过滤，基于事件持续时间 |
| iniVation 通用算法 | - |

3 深度估计分支

深度估计分支采用 RAMNet 架构，它是一种循