毫米波雷达与图像融合之CRF-Net

paper: A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection

0 引言

image检测虽好， 但是在恶劣天气面前表现就不行了， 而radar的特性刚好可以弥补这一点。这篇文章的出发点是为了融合radar和image， 从而提升image检测的表现。

1 方法

很多做radar与图像融合的思路都是想办法把radar点投影到图像上，增强图像的特征， 从而得到更好的检测结果。 这篇文章的思路也是类似。

但是毕竟雷达数据与图像数据在性质上差异很大， 怎么能把2者的特征融合起来， 其实很难说的请。 那这篇文章的一个亮点就是它可以让网络自动化地学习到在哪个层级进行融合是对最终结果更有帮助的。

上述的一点是这篇文章最核心的一点。 当然还有一些小的细节也比较重要：
1 对雷达数据的处理。因为作者的雷达数据中没有高度信息，作者把高度都假定为3m；另外雷达数据和图像数据在时序上也不完全匹配，在处理中把不匹配的给过滤掉了。

2 训练的技巧。受Dropout启发， 提出了一种被称为BlackIn的训练方法，具体做法是一定概率同时停用所有图像输入分支的神经元， 目的是为了让网络更依赖radar数据学习。

2 实验结果

实验细节：
雷达传感器采用了3个大陆 的ARS430 毫米波雷达， 先把3个雷达的处理融合成一个点云数据。

3 总结

作为传感器融合， 本文提供了一个可供借鉴的思路。 但总体而言，本文的方法不够solid， 结果也有些差强人意。毕竟加了radar数据， 去对比单image的结果， 然而对结果的提升也不够明显。所以实际意义有限。