24、基于脉冲神经网络的车道检测高效优化方案

基于脉冲神经网络的车道检测高效优化方案

1. 引言

在智能驾驶和移动机器人领域，实时决策和低功耗是关键需求。为了满足这些需求，研究人员提出了基于脉冲神经网络（SNN）的方法，用于车道检测任务。这种方法结合了神经形态芯片和基于事件的相机，有望在资源受限的环境中实现高效的车道检测。

2. 相关模型概述

2.1 CarSNN模型

CarSNN模型是用于基于事件的“汽车与背景”分类的高效SNN分类器。通过特定的方法确定训练参数、输入参数和网络模型，并使用注意力窗口机制积累事件。该模型的两个版本在相同延迟下比相关工作的准确率高出5%，同时在Loihi芯片上实现了低功耗。

2.2 LaneSNN方法

LaneSNN是一种基于SNN的新方法，用于使用基于事件的相机流检测街道上标记的车道。研究人员开发了四个具有快速响应和低复杂度的新型SNN，并使用离线监督学习规则进行训练。然后将学习到的SNN模型映射到英特尔Loihi神经形态研究芯片上。实验结果显示，最大交并比（IoU）达到0.62，功耗仅为1W，且在识别图像时延迟低于8ms，实现了实时性能。

3. 系统概述

为了确保自动驾驶车辆和移动机器人的安全行驶，需要实时分析周围环境并做出决策，同时保持低能耗。基于此研究目标，研究人员在英特尔Loihi神经形态研究芯片上设计、优化和实现SNN，并在DET数据集上进行评估。视觉系统基于基于事件的DVS相机。主要贡献包括：
- 采用语义分割方法实现算法；
- 采用数据集预处理单元降低输入和输出图像的分辨率，保证低复杂度；
- 引入一种新的损失函数，在加权二元交叉熵和