MIT-BEVFusion系列二：LIDAR激光雷达介绍

一、LIDAR

1.1 什么是LIDAR

• LiDAR是自动驾驶车辆的关键传感器
  

1.2 LIDAR是如何工作的

• 工作原理介绍
  

视频

• https://velodynelidar.com/what-is-lidar/
• 机械式LiDAR装备了多个垂直排列的激光发射器，每个发射器都有不同的俯仰角。数量就是线束，通常为16， 32，64， 128。

1.3 具体激光雷达举例

两个不同型号的雷达举例

• • spinning LIDAR (Velodyne HDL32E)
    Nuscenes数据集收集点云数据使用的LIDAR
    
• • Pandar128E3X
    
    

1.4 数据形式

这里以Nuscenes数据集为例子

• • 数据以.pcd.bin二进制格式储存，pcd就是point-cloud data，文件如下
    
• • 最终Lidar数据以N个[x, y, z, intensity, ring index]格式的数据储存。

特点：

• 1）较为准确的3D位置信息

• 2）非结构化。

  • 一般不会直接被3D目标检测器处理。必须通过某种表达形式将其编码为更紧凑的结构，目前主要有以下五种表达形式：基于点的（point-based）、基于体素的（voxel-based）、基于支柱特征的（pillar-based）、基于投影的（projection-based）和基于图的（graph-based）。
    

• 3）稀疏性。

  • 实际LIDAR的voxel划分，是把-54米到54米，高-5米到3米，用1440144041的格子划分。这导致LIDAR划分的空间非常大。这导致LIDAR的点，在这个空间中，十分稀疏。
  • 稀疏度大，用标准卷积卷，浪费计算量很严重。90%的卷积。卷空气。

代码简单理解

import numpy as np
import cv2
import matplotlib.pyplot as plt
# 0. 首先，数据来源是v1.0-mini数据集(nuscense迷你版)内的 sweeps/LIDAR_TOP
file = "n015-2018-10-02-10-50-40+0800__LIDAR_TOP__1538448760497849.pcd.bin"
pc = np.frombuffer(open(file, "rb").read(), dtype=np.float32)# print(pc.shape) # (173760,)
# 1. 了解数据结构，数据由5个部分组成
    # Data is stored as (x, y, z, intensity, ring index).
    # x y z 就是基于激光雷达的3d坐标系
    # intensity 反射强度，指的是，激光接收器接受的 激光的反射次数
    # ring index  第几条线，激光有32线， 他就是1-32的数字。 课程中不用
    # 所以改变下形状输出# print(pc.reshape(-1, 5)[0])     
    # [-2.942755   -0.59551746 -1.7575045  20.          0.        ]
    # print(pc.reshape(-1, 5)[10])    
    # [-4.5377426 -0.5805964 -1.4302253 36.        10.       ]
pc = pc.reshape(-1, 5)[:, :4]
x, y, z, intensity = pc.T 
# 解包方法x.shape, y.shape

• 点云效果
  

1.5 扩展阅读

• 首先推荐手写ai在b站上的两个视频。
  • 第二十一节：可视化点云，并对点云的初步了解
  • 第二十一节2：补充：使用工具可视化点云
• 推荐文章：
  • 《A comprehensive survey of LIDAR-based 3D object detection methods with deep learning for autonomous driving》
  • https://zhuanlan.zhihu.com/p/532803205，下方为原文
    https://www.sciencedirect.com/science/article/pii/S0097849321001321

十、数据来源

• https://velodynelidar.com/what-is-lidar/
• https://www.nuscenes.org/
• https://www.nuscenes.org/nuscenes
• https://velodynelidar.com/wp-content/uploads/2019/12/97-0038-Rev-N-97-0038-DATASHEETWEBHDL32E_Web.pdf
• https://zhuanlan.zhihu.com/p/532803205
• https://www.sciencedirect.com/science/article/pii/S0097849321001321
• https://hesaiweb2019.blob.core.chinacloudapi.cn/uploads/Pandar128E3X_%E4%BA%A7%E5%93%81%E6%89%8B%E5%86%8C_128-zh-230710.pdf