zfjBIT的专栏

PointNet++设计思路以及网络结构

VoxelNet网络结构

PV-RCNN的提出是想要综合 point-based 和 voxel-based 3D目标检测方法的优势：既要尽可能保留原始点的精确位置信息，又要降低运算消耗。Voxel & Point based Method 点和体素方法的结合：实现了更高的识别性能和可控的内存消耗。Voxel-based 体现在3D稀疏CNN场景编码的过程中，将场景转换为多种尺度的特征空间，并且生成了高品质的预选框。

SECOND创新点

OpenPCDet架构流程如图，接下来我们将以second模型为例，以kitti数据集说明模型总体处理流程。主要包括：数据增强、数据预处理、模型构建、后处理、训练、测试等。

在3D目标检测领域，目前的fusion普遍都是deep fusion，效果不如纯lidar的方法。一个原因是由于camera和lidar两个传感器对物理世界的描述属于不同的视角（FV vs BEV）、不同的表征方式（rgb VS xyzi）、不同的存储方式（规则uv VS 无序），融合特征是否能很好的表征目标这是个问题；另外就是融合的算法在数据增强方面也有限制，不太好做数据增强。在决策层面的融合相对简单很多，不需要考虑在信息层面的融合和互补，对结果做决策上的选择融合。

OpenPCdet环境配置+kitti预处理pkl文件解析

PointRCNN网络结构

基于PCDet+KITTI训练测试PointRCNN

经过该类处理后我们最终可以得到三个类别的anchor，维度都是[z,y,x,num_size,num_rot,7],其中num_size是每个类别有几个尺度（1个）；从上面流程可以看出对每个anchor进行回归和分类，得到了每个点为中心所产生anchor的类别预测结果，方向分类结果，box回归结果。但每个anchor是如何产生的呢？②每个anchor被指定九个信息，其中包含两个one-hot向量，一个用于方向分类，一个用于类别分类，还有一个七维的向量(x,y,z,dx,dy,dz,rot)。

MV3D提出一种融合 RGB 和 Point Cloud的3D目标检测框架。 同时，和以往基于voxel的方法不同，它只用了点云的俯视图和前视图，这样既

PointNet设计思路以及网络架构

PointPillars是一种新型的点云编码方法，通过将3D点云转化为2D伪图像进行目标检测，避免了3D卷积的计算复杂性‌‌1。PointPillars的主要贡献在于提出了一种将点云转换为伪图像的方法，并利用2D卷积神经网络（CNN）进行目标检测，从而在速度和精度上达到了很好的平衡‌。核心思路PointPillars的核心思想是将3D点云转换为2D伪图像，然后使用2DCNN进行处理。PointPillars其实延续了VoxelNet和SECOND的思路。

PointPainting以“将LIDAR的BEV视角和camrea视角信息整合起来”为出发点，其核心思想为：每个LIDAR点被投影到一个图像语义分割网络的输出中进行点云“上色”，Painted后的点云可用于任何LIDAR检测方法，既没有对3D检测框架的限制，也没有特征或深度模糊的问题；PointPainting是按顺序设计的，因此不能端到端优化；

AVOD（Aggregate View Object Detection）算是MV3D的改进版。AVOD的3D目标检测框架，主要解决自动驾驶场景中从多模态数据（如激光雷达和相机图像）联合生成3D候选框（proposal）并检测物体的任务。AVOD核心思想提出的一种使用LIDAR点云和RGB图像特征融合的二阶段网络：区域建议网络（RPN）和二级检测器网络；RPN网络使用能够在高分辨率特征图上执行多模态特征融合，为道路场景中的多个目标类生成可靠的3D目标候选；

Nusence坐标转换

Nusence数据集

Waymo Open Dataset是Waymo公司为了促进自动驾驶技术、机器感知和相关领域的研究而公开发布的一个大型数据集。该数据集包含了Waymo自动驾驶车队在多个城市和郊区环境中收集的高分辨率传感器数据，涵盖了白天和夜晚、晴天和雨天等多种天气和光照条件下的驾驶场景。Waymo 数据集包含 3000 段驾驶记录，时长共16.7小时，平均每段长度约为 20 秒。

KITTI数据集

参考：docs/jupyter/t_pipelines/t_icp_registration.ipynb。

首先在本地或远程计算机上启动可视化服务器，然后可以从任何具有现代浏览器的设备上查看3D 模型。Web 可视化服务器和客户端通过WebRTC（Web 实时通信）协议进行通信。将Open3D Web 可视化服务器作为独立应用程序运行，并在浏览器中查看3D 模型。它同时支持C++ 和Python。测试如下：examples/python/visualization/draw_webrtc.py。Open3D Web 可视化工具可在现代浏览器中实现3D 模型的高级渲染和可视化。

官网测试用例：examples/python/visualization/non_blocking_visualization.py。非阻塞可视化，即实时更新点云数据；

【代码】基于Open3D的点云处理21-交互式可视化。

change_field_of_view在当前的FoV下添加了指定的FoV。如设置90度，这将会在默认的60°上添加90°的FoV，当超过最大的FoV时，FoV将会被设置为90°。小于5度的话，FOV将会被设置为5°；函数draw_geometries_with_animation_callback将Python的回调函数rotate_view注册为主循环的空闲函数。当可视化窗口处于空闲状态的时候，将沿着Y轴旋转。这样就定义了动画行为。默认的可视化具有60°的FoV；视角可以设置为[5,90]度；

模型采样+增加噪声：即使用官方提供的模型或者已有模型作为base，在此基础上做一些后处理，比如采样、增加噪点，如下代码，增加高斯噪声；光现投射即模仿传感器的一个扫描视角生成对应的点云，如模拟相机成像模型;BlenSor下载：https://www.blensor.org/结果如下：变成带毛刺的犰狳了。具体使用等下一贴~~

open3d 重建系统

基于Open3D的点云处理17-Open3d的C++版本

open3d 基于icp、color icp、fpfh等进行点云匹配

open3d 关键点 特征

open3d 法向量

Open3d 平面分割 聚类分割

open3d 体素化

open3d 数据下载

三维表面建模

基于Open3D的点云处理10-三维质心

基于Open3D的点云处理-包围盒AABB、OBB

open3d 点云切片

基于Open3D的点云处理7-法线估计

基于Open3D的点云处理6-点云去噪

基于Open3D的点云处理5-点云之间的距离计算