26、多模态传感助力分心驾驶缓解

多模态传感助力分心驾驶缓解

1. 图像分割与特征分析

图像分割方法具有较高的数据并行性。通过分割特征的长宽比，以及其高斯分布与训练高斯分布的距离，可以区分人类、道路和广告。利用高斯混合模型（GMM）算法对图像进行分割后，应用矩的概念来确定道路的几何形状（高曲率或低曲率）。分割图像的归一化二阶矩描述了物体的方向，二阶矩可以使用在像素块上执行的硬件协处理器并行计算。道路的方向可用于确定其曲率，同样，驾驶员的方向可用于解读分心或酒后驾驶。

1.1 硬件实现优势

将分割和方向计算实现为内置在现场可编程门阵列（FPGA）架构中的硬件协处理器。这种实现方式有诸多好处：
- 减少了必须通过蜂窝模型传输的数据量。
- 降低了处理延迟。
- 减轻了在后端存储图像数据时的隐私问题。

2. 多传感器融合

驾驶员发生事故的可能性取决于两个相关因素：
- 驾驶员是否分心（如酒后驾驶、路边广告、行人等）。
- 驾驶员是否在危险或易分散注意力的环境中驾驶（如恶劣天气条件、拥挤道路、高环境噪音等）。

2.1 分心判断方法

为了推断驾驶员是否分心，采用眼动追踪和鱼眼相机的图像分析。眼动追踪器确定驾驶员是否专注于道路，相机图像可以确定驾驶员的方向。

2.2 危险区域推断

推断驾驶员是否在危险区域驾驶则更为复杂，需要融合来自多个不同数据源的数据，如智能手机传感器、相机、人群和定位服务（天气、交通灯、停车标志等）。部分数据通过机器（传感器）收集，其余数据源则利用人类智能（众包）。

2.3 数据预处理