leo0308的博客

我是直接下载的源码安装， 但是执行python setup.py install 时有各种编译报错， 其实怀疑是gcc版本问题， gcc 版本 从gcc-7, gcc-8, gcc-9, gcc-10, gcc-11 都试了一遍， 都有不同的编译报错。通过pip 或conda 可以很容易安装上预编译好的包， 安装过程不会报错， 但是使用的时候就会报各种错误 ，原因是预编译好的包跟自己的环境不一定匹配， 比如CUDA版本， torch版本等。

传统的RGB彩色相机称为2D相机， 只能得到2D的图像信息， 无法得到物体与相机的距离信息，也就是深度信息。顾名思义， 深度相机除了获取2D信息，还能得到深度信息，也叫RGBD相机， 或3D相机。顺便提一句， 当前也有很多工作基于2D相机， 通过算法的方式估计深度， 但一般效果不如通过深度相机直接获取。

cuda toolkit版本： Cuda compilation tools, release 11.5, V11.5.119。torch 版本： 1.11.0+cu115。gcc版本：10.5.0。

image检测虽好， 但是在恶劣天气面前表现就不行了， 而radar的特性刚好可以弥补这一点。这篇文章的出发点是为了融合radar和image， 从而提升image检测的表现。

自动驾驶的感知应用中， 通常会融合多模态传感器， 如lidar和camera的融合。 单纯基于radar做感知的研究工作很少， 用radar的场景一般都是和其他传感器进行一个融合。 本文要讲的CenterFusion就是一篇融合Camera和Radar的工作。

3D目标检测最主要的应用领域是自动驾驶，主流用的传感器是camera和lidar， 一般车上也会配备很多radar， 但是在检测中一般很少用到radar。

激光雷达基本介绍及应用。

KITTI数据集可视化

0 NMS介绍NMS(Non-maximum suppression)是非极大值抑制， 目的是过滤掉重叠的框。 为了保证检测的准确性， 检测网络的输出框一般都比较密集， 对一个物体， 会有多个预测框，NMS就是为了过滤掉这些重复的框， 保留质量最好的那一个框。1 算法1 首先对所有检测框按分类置信度进行排序， 选取置信度最高的那个框， 加入候选框集合;2 删除掉与候选框IoU大于某个阈值的框(大于阈值的说明与候选框是重复的，而已经选出来的候选框质量更高被保留)；3 对剩余的框重复执行步骤1和2，

论文：PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud代码：https://github.com/sshaoshuai/PointRCNN0 引言PointRCNN 是第一个只基于3D点云的两阶段3D检测方法。1 网络结构第一阶段，通过PointNet++ 进行特征的提取，基于提取到的特征可以进行前景和背景的分割， 在每个前景点上进行3D框的预测。 这一步预测是比较粗糙的， 主要是为了提取出proposa

0 引言主要总结了3D点云的三类主要任务：3D形状分割， 3D检测和跟踪， 3D点云分割， 并且只关注深度学习方法的应用。全局思维导图：1 常用数据集2 3D形状分类主要网络及发展历程：主要网络在ModelNet10/40 上的benchmark结果：3 3D目标检测和跟踪3.1 检测主要网络及发展历程：典型的网络结构图：主要网络在KITTI上的Benchmark结果：3.2 跟踪4 3D点云分割4.1 3D语义分割主要网络及发展历程：语义分割的benchma

论文： SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation代码： https://github.com/lzccccc/SMOKE0 引言现有的单目3D目标检测基本都是2阶段的， 首先基于2D目标检测生成目标的2D候选区域， 然后针对获取到的2D候选区域预测目标的位置姿态等。 论文认为2D检测是不必要的， 甚至会引入不必要的噪声。 如果已知目标的3D属性和相机的内参， 根据几何投影关系是可以得到2D属性的，

论文：Categorical Depth Distribution Network for Monocular 3D Object Detection代码：https://github.com/TRAILab/CaDDN0 引言单目3D检测的最大难点在于深度的估计，精确的深度估计是非常困难的， 已有的方法大多估计都不准。 CaDDN 主要的贡献也是在深度估计上， 它的思想是既然精确地深度估计很困难， 那就估计一个大概的深度范围。 具体而言， 就是不直接回归连续的深度值， 而是把深度离散化为一些范围，这

论文： PointPillars: Fast Encoders for Object Detection from Point Clouds0 简介介绍PointPillar之前， 先简要介绍一下voxel-based检测方法的发展历程。VoxelNet是第一个将点云转换为体素（voxel）进行3D目标检测的， 但是由于3D卷积的使用， 性能非常低。 SECOND主要把3D卷积换成了更高效的稀疏卷积， 并且增加了一些数据增强， 在性能上有比较大的提升。 虽然使用了稀疏卷积， 但3D的卷积依然比较耗费资源

论文：VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection代码：0 介绍在基于激光雷达点云的3D检测方法中， 有两类常见的算法， 一种是Point-based, 即直接基于原始的点云数据进行操作； 另一类是Voxel-based,通过把原始的点云数据处理成规则的voxel, 从而可以使用传统的CNN等方法。 VoxelNet就是voxel-based 的经典模型。1 网络结构整体的网络结构非常简单， 主要包

论文：PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation代码：https://github.com/charlesq34/pointnet0 引言PointNet是处理点云数据的深度学习模型，其地位堪比2D图像处理中的CNN网络， 后续的诸多点云数据处理的深度网络都有PointNet的影子。1 点云数据介绍既然PointNet处理的是点云数据， 那么首先需要先知道点云数据是长什么样子。 其实所谓点

论文：PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space代码：0 引言PointNet++ 是PointNet的改进版。 PointNet的一个很大的缺点是无法获得局部特征，在复杂任务（如分割等）上的表现并不是很好。这个跟PointNet的结构设计有很大关系， PointNet把一个点云中的所有点当做一个整体， 直接提取了一个全局特征， 缺乏局部点之间的关联。PointNet++非常核心的一点