使用OpenPCDet训练与测试多传感器融合模型BEVFusion，OPenPCdet代码架构介绍

自动驾驶实战(AIFighting)

已于 2024-06-17 09:06:38 修改

阅读量1.6k

点赞数 17

分类专栏： OpenPCdet 文章标签：目标检测深度学习 3d 计算机视觉

于 2024-06-08 21:23:39 首次发布

本文链接：https://blog.youkuaiyun.com/laukal/article/details/139551299

版权

引言

在自动驾驶领域，多传感器融合技术是一种常见的方法，用于提高感知系统的准确性和鲁棒性。其中，BevFusion是一种流行的融合方法，可以将来自不同传感器的数据进行融合，生成具有丰富信息的鸟瞰图（BEV）表示。在本文中，我们将介绍如何使用OpenPCdet框架训练和测试多传感器融合BevFusion

环境搭建与数据准备

安装OpenPCDet: 确标Python环境，确保安装PyTorch及OpenPCDet。克隆仓库后，执行依赖安装。

参考：安装、测试和训练OpenPCDet：一篇详尽的指南
nuScenes数据集: 从官方网站下载数据集，包含LiDAR、相机图像、雷达等多模态数据，为训练和评估准备。存放到相应的路径。

参考：nuscenes生成数据信息info

模型训练

#单个GPU
python train.py --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml
#多GPU
sh scripts/dist_train.sh 3 --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml

模型测试

python test.py --cfg_file ./cfgs/nuscenes_models/bevfusion.yaml --batch_size 4 --ckpt ../checkpoints_office/cbgs_bevfusion.pth

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

自动驾驶实战(AIFighting)

关注关注

17
点赞
踩
20

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【多传感器融合】BEVFusion: 激光雷达和视觉融合框架 NeurIPS 2022

黎国溥

12-01

8570

BEVFusion其实有两篇，NeurIPS 2022 | 北大&阿里提出。另一篇是ICRA 2023 | MIT提出。本文先分享阿里那篇，下面简单总结一下两篇论文。重点: 介绍了一个融合摄像头和激光雷达数据的框架，用于3D对象检测。其创新之处在于使摄像头流程不依赖激光雷达输入，解决了现有方法过度依赖激光雷达数据的局限性。方法: BEVFusion框架使用两个独立流程来处理激光雷达和摄像头数据然后在鸟瞰视图(BEV)层面进行融合。这种方法即使在激光雷达功能失常，或摄像头失常的情况下也保证了稳健性。性能。

OpenPCDet系列 | 1.OpenPCDet的安装训练与测试

Clichong

03-02

2536

不过我是用本地远程连接服务器跑的代码，所以希望可以在本地打开tensorboard，方法如下。3）另外还可以通过slurm进行多GPU训练（不过这里我没有跑通），然后今年过年后回来实验室一试便成功了，真是神奇。训练PointPillar模型。训练Voxel-RCNN模型。1）选择模型推理显示预测结构。

参与评论您还未登录，请先登录后发表或查看评论

OpenPCDet部署流程和相关问题

qq_42890035的博客

02-09

429

跑训练代码train.py文件时，要在tools目录下，不然会报以下错误。其中使用pip安装torch等包记得换源。在./OpenPCDet路径下安装依赖。安装 SparseConv 库，使用。然后在./OpenPCDet路径下。则修改kornia版本为0.6.5。或者压缩包下载到本地解压。运行过程若出现以下报错。

【OpenPCDet】Kitti数据集下训练PointPillars并评估&可视化

热门推荐

AaaA00000001的博客

11-13

1万+

ubuntu18.04 跑通OpenPCDet最近正在学习3D目标检测的算法，OpenPCDet是由香港中文大学MMLab实验室开源的轻量话激光雷达点云目标检测框架，它定义了一种统一的3D坐标系以及采用了数据与模型分离的高层代码设计思想，使用起来非常方便。但是在早期的版本中由于spconv库OpenPCDet完整环境下Spconv1.x与Spconv2.x的安装问题及解决方法），之后我将使用OpenPCDet完成pointpillars算法的训练、评估、可视化等操作。

OpenPCDet详细部署与复现

xx_xb的博客

03-21

628

OpenPCDet是一个用于3D目标检测的开源工具箱，它提供了多种数据集的加载器，支持多种模型，并且易于扩展。

OpenPCDet:OpenPCDet工具箱，用于基于LiDAR的3D对象检测

03-13

OpenPCDet OpenPCDet是一个清晰，简单，自成体系的开源项目，用于基于LiDAR的3D对象检测。它也是，和的官方代码版本。概述变更日志 [2020-11-27]错误修复：如果您想使用我们提供的Waymo评估工具（请参阅），请重新准备Waymo数据集（版本1.2）的验证信息。请注意，您不需要重新准备训练数据和真实的数据库。 [2020-11-10]新增功能：最新的结果为提供了支持。当前，我们在Waymo开放数据集上提供SECOND ， PartA2和PV-RCNN的配置和结果，并且可以通过修改其数据集配置轻松支持更多模型。 [2020-08-10]错误修复：已更新提供的NuScenes模型，以修复加载错误。如果您需要使用预训练的NuScenes模型，请重新下载它。 [2020-07-30] OpenPCDet v0.3.0已发布，具有以下功能：现

【3D目标检测】OpenPCDet——nuScenes数据集训练BEVFusion/TransFusion_L

qq_44703886的博客

08-22

2128

OpenPCDet——nuScenes数据集训练BEVFusion/TransFusion_L

OpenPCDet

qq_48152826的博客

05-31

1056

PCDet中实际上已经支持了绝大部分的模块。对于一个新的(组合的)3D检测模型来说，只要在PCDet框架中实现其所特有的模块（比如新的backbone或新的head）来替换掉原有模块，并修改响应模型配置文件，其他模块以及数据处理部分直接利用PCDet中已有部分即可。

OpenPCDet：点云3D目标检测开源库

我爱计算机视觉

07-01

9505

本文转载自知乎，已获作者授权转载。链接：https://zhuanlan.zhihu.com/p/152120636随着自动驾驶与机器人技术的不断发展，基于点云表征的3D目标检测领域在近...

OpenPCDet——环境配置和训练测试（升级系统、Nvidia驱动、cuda11.3、cudnn8.2）

xiaohu的博客

04-30

7726

文章目录NVIDIA 驱动升级CUDA安装笔记本显卡驱动NVIDIA 418，cuda9.0 比较旧，和工作的环境不兼容，导致tensorRT装版本也不一致，决定把GTX 1060显卡升级到最新的驱动 NVIDIA 驱动升级 sudo apt-get remove --purge nvidia* sudo sh NVIDIA-Linux-x86_64-418.56.run --uninstall 禁用nouveau sudo gedit /etc/modprobe.d/blacklist.conf 在

使用OpenPCDet训练与测试Transformer模型：如何加载自己的数据集

自动驾驶实战

06-08

996

通过上述步骤，你不仅能成功地在OpenPCDet框架下训练和测试基于Transformer的3D物体检测模型，还能灵活地加载和处理自定义数据集。这不仅促进了模型的泛化能力，也为特定应用场景的定制化需求提供了可能。随着数据集的多样化和模型的持续优化，未来在3D感知领域的应用将更加广泛且精准。

ubuntu18.04.5配置OpenPCDet

01-17

ubuntu18.04.5配置OpenPCDet

自定义数据集上的3D目标检测：使用OpenPCDet训练CenterPointPillar模型

自动驾驶实战

05-29

1767

在自动驾驶和机器人领域，3D目标检测是关键技术之一。它能够提供关于周围环境中物体的精确位置和尺寸信息。OpenPCDet是一个基于PyTorch的开源3D目标检测框架，支持多种3D检测网络。在本文中，我们将探讨如何使用OpenPCDet框架和CenterPointPillar模型，结合自定义数据集进行3D目标检测的训练。1、数据集准备（1）将pcd转成bin文件（2）创建自己加载数据集（3）生成info文件2、新建立自己的网络模型3、训练并测试其效果，基于不同的距离计算Map4、结果可视化。

探索未来：OpenPCDet——领先的激光雷达3D物体检测开源项目

gitblog_00044的博客

08-08

912

探索未来：OpenPCDet——领先的激光雷达3D物体检测开源项目 OpenPCDetOpenPCDet Toolbox for LiDAR-based 3D Object Detection.项目地址:https://gitcode.com/gh_mirrors/op/OpenPCDet 在自动驾驶和智能交通系统的快速发展中，激光雷达（LiDAR）技术扮演着至关重要的角色。今天，我们向您推荐一...

（一）OpenPCDet 详细完整复现（Pointpillars、Pointrcnn、Second）进行训练，并进行评估和推理可视化

A1828776499的博客

10-23

5873

OpenPCDet 详细完整复现（Pointpillars、Pointrcnn、Second）进行训练，并进行评估和推理可视化

OpenPCDet-review

小昊同学

12-16

533

复习一下OpenPCDet，遇到一些问题，记录 1、数据预处理的过程中没有difficulty字段，但对应的配置文件中仍存在针对difficulty做的一些处理工作，应该把配置文件中对应的字段配置部分去掉 2、自定义自己的类如KittiDataset等类，定义自己的类，记得在__init__.py中import ...

OpenPCDet：引领 LiDAR 3D 物体检测的开源先锋

gitblog_01116的博客

08-16

429

OpenPCDet：引领 LiDAR 3D 物体检测的开源先锋项目地址:https://gitcode.com/gh_mirrors/op/OpenPCDet-Noted 在自动驾驶和机器人技术的快速发展中，LiDAR（激光雷达）技术已成为3D空间感知的关键。OpenPCDet作为一个清晰、简单且自包含的开源项目，专注于基于LiDAR的3D物体检测，不仅提供了多种先进模型的实现，还通过详细的代码...

使用OpenPCDet训练自己的3D点云数据（.pcd格式）

weixin_43678195的博客

06-04

5657

使用OpenPCDet训练自己的3D点云数据文章目录使用OpenPCDet训练自己的3D点云数据前言一、安装python-pcl库1.1 安装PCL1.2 安装Cython 0.25.21.3 安装python-pcl 前言 OpenPCDet是个很好的平台，可以使用多种开源3D目标检测算法，也提供了开源数据集的使用方法，但是对于训练自己的数据来说还是有一些困难，主要是数据格式的转换以及接口匹配。官方提供的demo是.bin格式的数据，但是我们自己的数据集是.pcd格式的，初步分析有三种方法：官方

【3D目标检测】OpenPCDet自定义数据集训练

qq_44703886的博客

03-11

5447

【3D目标检测】OpenPCDet自定义数据集训练

openpcdet pointpillars

最新发布

03-31

<think>好的，我现在需要帮助用户了解OpenPCDet中的PointPillars实现细节和使用方法。首先，我得回忆一下OpenPCDet这个框架的基本情况。OpenPCDet是一个基于PyTorch的3D目标检测开源框架，支持多种模型，其中PointPillars是其中之一，主要用于点云处理。用户的问题集中在PointPillars的实现和使用上，所以我需要分步骤来解答。首先应该介绍PointPillars的基本原理，这样用户能有一个背景知识。然后，我需要详细说明OpenPCDet中具体的实现结构，比如数据预处理、模型架构、训练配置等部分。接着，使用步骤也很重要，用户可能想知道如何训练和测试模型，所以这部分要详细说明。可能还需要提到性能优化和实际应用中的注意事项，比如环境依赖和参数调整。同时，用户提到要生成相关问题，我需要考虑用户可能进一步的问题，比如与其他模型的对比、数据预处理的具体方法、参数调优技巧以及部署应用等。这些相关问题可以帮助用户更深入地理解主题。在回答过程中，我需要确保所有的数学公式都按照要求使用正确的LaTeX格式，行内公式用$...$，独立公式用$$...$$。例如，点云特征提取中的公式需要正确呈现。此外，引用部分要自然，比如在提到性能监控时引用psutil库，但用户的问题可能不需要这个引用，所以可能需要检查是否相关。还要注意使用中文回答，结构清晰，分点说明。代码示例部分需要正确展示，比如数据加载或模型定义的代码片段。最后，确保回答真实可靠，参考官方文档或可靠的资料，避免错误信息。总结一下，回答的结构应该是：概述PointPillars，OpenPCDet的实现细节，使用步骤，优化与注意事项，相关问题。每个部分都要简明扼要，重点突出，帮助用户快速掌握所需信息。</think>### OpenPCDet中PointPillars的实现与使用 #### 1. PointPillars基本原理 PointPillars是一种基于点云的高效3D目标检测方法，通过将点云划分为垂直柱体（pillars）进行特征提取。其核心步骤包括： - **点云预处理**：将原始点云划分为$H \times W$的网格，每个网格单元称为一个pillar - **特征编码**：使用简化版的PointNet对每个pillar内的点云进行特征提取，生成伪图像（pseudo-image） - **2D卷积网络**：基于伪图像进行目标检测，输出3D边界框和类别 #### 2. OpenPCDet实现细节在OpenPCDet框架中，PointPillars的实现主要包含以下模块： **2.1 数据预处理** ```python # pcdet/datasets/processors/data_preprocessor.py class DataProcessor: def __init__(self, voxel_size, point_cloud_range): self.voxel_generator = VoxelGenerator( voxel_size=voxel_size, point_cloud_range=point_cloud_range ) ``` **2.2 网络架构** 模型定义在`pcdet/models/detectors/pointpillar.py`： ```python class PointPillar(Detector3DTemplate): def __init__(self, model_cfg, num_class, dataset): super().__init__(model_cfg=model_cfg, num_class=num_class, dataset=dataset) self.module_list = self.build_networks() ``` **2.3 Pillar特征编码** 数学表达式描述特征提取过程： $$f_{ijk} = \text{MLP}(x_i, y_i, z_i, r_i) + \text{MaxPool}(x_c, y_c, z_c, x_p, y_p)$$ 其中$r_i$为反射强度，$(x_c,y_c,z_c)$为pillar中心坐标，$(x_p,y_p)$为点相对于中心的偏移量 #### 3. 使用步骤 **3.1 环境配置** ```bash git clone https://github.com/open-mmlab/OpenPCDet.git cd OpenPCDet && pip install -r requirements.txt python setup.py develop ``` **3.2 训练流程** ```python # 配置文件：tools/cfgs/pointpillar.yaml from pcdet.config import cfg, cfg_from_yaml_file cfg_file = 'tools/cfgs/pointpillar.yaml' cfg_from_yaml_file(cfg_file, cfg) # 启动训练 python train.py --cfg_file ${CONFIG_FILE} ``` **3.3 推理示例** ```python from pcdet.models import build_network model = build_network(model_cfg=cfg.MODEL, num_class=len(cfg.CLASS_NAMES), dataset=dataset) checkpoint = torch.load('pretrained/pointpillar.pth') model.load_state_dict(checkpoint['model_state_dict']) # 输入处理 points = np.fromfile('demo_data/kitti_000008.bin', dtype=np.float32).reshape(-1, 4) input_dict = {'points': points, 'frame_id': 0} # 推理 with torch.no_grad(): pred_dicts = model(input_dict) ``` #### 4. 性能优化 - **混合精度训练**：在配置文件中设置`USE_AMP: True` - **多GPU训练**：使用`--launcher pytorch --workers 4` - **内存优化**：调整`MAX_NUMBER_OF_VOXELS`和`MAX_POINTS_PER_VOXEL`参数[^1] #### 5. 注意事项 - 建议使用CUDA 11.0+和PyTorch 1.8+环境 - KITTI数据集需要预处理为指定格式 - 验证集评估需要使用官方评估脚本