MMDetection3D 三维目标检测框架入门指南

MMDetection3D 三维目标检测框架入门指南

mmdetection3d OpenMMLab's next-generation platform for general 3D object detection. 项目地址: https://gitcode.com/gh_mirrors/mm/mmdetection3d

前言

MMDetection3D 是一个基于 PyTorch 的开源三维目标检测框架，专注于点云和三维视觉任务。作为计算机视觉领域的重要分支，三维目标检测在自动驾驶、机器人导航、增强现实等场景中有着广泛应用。本文将详细介绍如何搭建 MMDetection3D 的开发环境，帮助开发者快速上手这一强大的三维视觉工具。

环境准备

系统要求

MMDetection3D 支持以下操作系统：

• Linux（推荐）
• Windows（实验性支持）
• MacOS

硬件要求

• GPU：推荐 NVIDIA GPU，支持 CUDA 计算
• 显存：建议至少 8GB，具体需求取决于模型和数据集

软件依赖

• Python 3.7+
• PyTorch 1.6+
• CUDA 9.2+（如需 GPU 加速）

详细安装步骤

1. 基础环境配置

首先需要安装 Python 和 PyTorch 基础环境：

# 创建并激活 conda 环境
conda create --name mmdet3d python=3.8 -y
conda activate mmdet3d

# 安装 PyTorch（根据 CUDA 版本选择）
conda install pytorch torchvision -c pytorch

对于仅使用 CPU 的环境：

conda install pytorch torchvision cpuonly -c pytorch

2. 安装 MMDetection3D 核心组件

推荐使用 MIM（OpenMMLab 包管理工具）进行安装：

pip install -U openmim
mim install mmengine
mim install 'mmcv>=2.0.0rc4'
mim install 'mmdet>=3.0.0'

3. 安装 MMDetection3D

有两种安装方式：

方式一：源码安装（推荐开发使用）

git clone -b dev-1.x mmdetection3d
cd mmdetection3d
pip install -v -e .

方式二：直接安装（作为依赖使用）

mim install "mmdet3d>=1.1.0rc0"

4. 可选依赖安装

根据需求安装以下可选组件：

SPConv 2.0（提升稀疏卷积性能）

pip install cumm-cu102  # CUDA 10.2版本
pip install spconv-cu102

Minkowski Engine（另一种稀疏卷积后端）

conda install openblas-devel -c anaconda
pip install -U git+https://github.com/NVIDIA/MinkowskiEngine

Torchsparse（轻量级稀疏卷积）

conda install -c bioconda sparsehash
pip install --upgrade git+https://github.com/mit-han-lab/torchsparse.git@v1.4.0

验证安装

安装完成后，可以通过以下方式验证：

1. 下载预训练模型和配置文件：

mim download mmdet3d --config pointpillars_hv_secfpn_8xb6-160e_kitti-3d-car --dest .

2. 运行示例推理：

python demo/pcd_demo.py demo/data/kitti/000008.bin \
    pointpillars_hv_secfpn_8xb6-160e_kitti-3d-car.py \
    hv_pointpillars_secfpn_6x8_160e_kitti-3d-car_20220331_134606-d42d15ed.pth \
    --show

或者在 Python 中直接调用：

from mmdet3d.apis import init_model, inference_detector

config_file = 'pointpillars_hv_secfpn_8xb6-160e_kitti-3d-car.py'
checkpoint_file = 'hv_pointpillars_secfpn_6x8_160e_kitti-3d-car_20220331_134606-d42d15ed.pth'
model = init_model(config_file, checkpoint_file)
result = inference_detector(model, 'demo/data/kitti/000008.bin')

数据格式转换

MMDetection3D 主要使用 .bin 格式的点云数据，但支持从其他格式转换：

PLY 转 BIN

import numpy as np
import pandas as pd
from plyfile import PlyData

def convert_ply(input_path, output_path):
    plydata = PlyData.read(input_path)
    data = plydata.elements[0].data
    data_pd = pd.DataFrame(data)
    data_np = np.zeros(data_pd.shape, dtype=np.float)
    for i, name in enumerate(data[0].dtype.names):
        data_np[:, i] = data_pd[name]
    data_np.astype(np.float32).tofile(output_path)

OBJ/其他格式转 PLY

import trimesh

def to_ply(input_path, output_path, original_type):
    mesh = trimesh.load(input_path, file_type=original_type)
    mesh.export(output_path, file_type='ply')

常见问题解答

1. CUDA 版本选择：

   • Ampere 架构显卡（如 RTX 30系列）需要 CUDA 11+
   • 较旧显卡建议使用 CUDA 10.2 以获得更好兼容性

2. 安装失败排查：

   • 确保 PyTorch 版本与 CUDA 版本匹配
   • 检查 GCC 版本（建议 5.4+）
   • 确保系统已安装必要的开发库（如 libgl1-mesa-glx）

3. CPU-only 环境限制：

   • 部分功能（如 SPConv）无法在纯 CPU 环境下使用
   • 训练速度会显著降低

进阶配置

Docker 环境

提供预配置的 Dockerfile，可快速构建统一开发环境：

docker build -t mmdetection3d docker/
docker run --gpus all --shm-size=8g -it -v ${DATA_DIR}:/mmdetection3d/data mmdetection3d

多版本管理

如需同时维护多个 MMDetection3D 版本，可通过修改 PYTHONPATH 实现版本切换：

# 在脚本中移除或修改以下内容
PYTHONPATH="$(dirname $0)/..":$PYTHONPATH

结语

通过本文的详细指导，您应该已经成功搭建了 MMDetection3D 开发环境。接下来可以开始探索框架提供的丰富模型和算法，如 PointPillars、SECOND 等经典三维检测算法。建议从官方提供的示例和教程开始，逐步深入了解三维目标检测的奥秘。

mmdetection3d OpenMMLab's next-generation platform for general 3D object detection. 项目地址: https://gitcode.com/gh_mirrors/mm/mmdetection3d