毫米波雷达：感知算法（二）

巫婆塔里的工程师

已于 2024-12-15 16:53:36 修改

阅读量2.4k

点赞数 50

分类专栏：自动驾驶环境感知文章标签：自动驾驶深度学习

于 2024-12-15 01:53:31 首次发布

本文链接：https://blog.youkuaiyun.com/2402_83466544/article/details/144479654

版权

1. 前言

本专栏的第一篇文章介绍了毫米波雷达的数据处理流程，以及基于点云和DataCube的感知算法。

毫米波雷达：感知算法（一）

近些年来，随着深度学习技术在自动驾驶中的广泛应用，它在毫米波雷达感知中起到的作用也越来越大，其中一个最热门的方向就是研究如何使用底层数据（DateCube）设计端到端的毫米波雷达感知系统。在前文的基础上，这篇文章进一步总结和分析了深度学习在毫米波雷达感知中最新的应用情况。

毫米波雷达的数据形式主要有两种：点云数据和底层数据。因此本文还是按照输入数据的形式来区分不同的感知方法。

2. 基于点云的方法

点云是毫米波雷达最常用的数据形式。虽然非常稀疏（比如每帧64个点），能够提供的信息量有限，但也正是因为数据量小，处理它需要的计算量非常小，适用于低算力系统。

点云数据的使用一般有两种方式：一种是直接使用点数据，一种是把点云转换为网格形式。这跟激光雷达点云的处理方式是类似的。点云这种数据形式对于神经网络，尤其是常用的卷积神经网络来说，并不是非常友好。因此，为了能够利用成熟的卷积网络设计，主流的方法通常都会把点云转换为适于卷积处理的网格形式。不过，也有些研究者尝试使用特殊的神经网络，比如PointNet，GraphNN，来直接处理点云数据。

Radar-PointGNN: Graph Based Object Recognition for Unstructured Radar Point-cloud Data (2021)

这个工作来自于TUDelft。它利用图神经网络（GraphNN）来直接处理点云数据，其核心思路是用GraphConv来提取点云的邻域（或者说上下文，contextual）信息。如下图所示，Radar point首先用MLP进行特征提取，注意这里是对每个点单独处理，并不涉及邻域，因此叫做Non-contextual embeddings。处理完之后的点，再用GraphConv来提取邻域信息，所以这一步是Contextual embeddings。最后，基于提取的特征，每个点都可以去生成一个object proposal。

HARadNet: Anchor-free Target Detection for Radar Point Clouds using Hierarchical Attention and Multi-Task Learning (2022)

这个工作来自于Infineon。主要思路是采用激光点云处理中经典的PointNet++方法来提取点云的邻域特征，并用这个网络结构来对进行点云语义分割和速度方向预测（点云的原始doppler信息是相对雷达的径向速度）。这两部分的输出用point-wise attention的方式进行合并后，再进行后续的处理。