开源项目 TED 指南

开源项目 TED 指南

TED Transformation-Equivariant 3D Object Detection for Autonomous Driving 项目地址: https://gitcode.com/gh_mirrors/te/TED

项目介绍

TED 是一个用于自动驾驶领域的变换等变3D物体检测方案。该项目通过结合 Transformation-Equivariant Sparse Convolution（TeSpConv）骨干网络、变换等变鸟瞰图(TeBEV)池化以及多网格池化和多次细化策略，旨在提高点云对象检测的性能。该方案基于OpenPCDet和CasA，同时也融入了PENet和SFD的一些代码元素。TED支持单模态（LiDAR）和多模态（LiDAR+RGB）数据输入，并提供了两种模型——TED-S和TED-M，分别对应这两种不同的数据类型。

项目快速启动

环境准备

首先，确保你的开发环境满足以下条件：

• 操作系统: Ubuntu 18.04
• Python: 3.6.9 或更新版本推荐3.9以上
• PyTorch: 1.8.1
• 依赖库: 包括numpy, protobuf, scikit-image等，具体可见项目中的requirements.txt

安装必要的软件包:

conda create -n spconv2 python=3.9
conda activate spconv2
pip install torch torchvision torchaudio -f https://download.pytorch.org/whl/torch_stable.html
pip install numpy protobuf scikit-image waymo-open-dataset-tf-2-5-0 nuscenes-devkit spconv-cu111 numba scipy pyyaml fire tqdm shapely matplotlib opencv-python addict pyquaternion awscli open3d pandas future pybind11 tensorboardX tensorboard Cython prefetch-generator

克隆项目并安装:

git clone https://github.com/hailanyi/TED.git
cd TED
python3 setup.py develop

数据准备

下载KITTI数据集并组织文件结构：

TED
├── data
│   └── kitti
│       ├── ImageSets
│       ├── training
│       ├── testing

然后处理多模态数据，如生成velodyne_depth数据:

cd tools/PENet
python3 main.py --detpath /path/to/kitti/training

创建数据infos:

python3 -m pcdet.datasets.kitti.kitti_dataset create_kitti_infos tools/cfgs/dataset_configs/kitti_dataset.yaml

单GPU训练

选择配置文件后开始训练：

cd tools
python3 train.py --cfg_file cfgs/models/kitti/TED-S.yaml

应用案例和最佳实践

对于应用案例，TED被设计用来提升在自动驾驶场景下的3D物体检测能力，特别是在处理复杂环境和多传感器融合上展现优越性能。最佳实践中，开发者应遵循以下步骤：

1. 环境设定：确保所有依赖已正确安装，且GPU资源充足。
2. 模型选择：依据应用场景，选择TED-S或TED-M模型。
3. 数据预处理：精确校正数据，包括深度信息的生成，以优化模型性能。
4. 训练调优：监控训练过程，适时调整学习率、批量大小等参数以达到最优模型表现。
5. 验证与测试：在KITTIs的验证集上验证模型效果，必要时在测试集上进行评估。

典型生态项目

虽然提供的资料中没有直接提及特定的“典型生态项目”，TED作为专注于自动驾驶技术的开源解决方案，其自身就构成了一个生态系统的一部分。它可能与其他自动驾驶相关的开源框架如Apollo、CARLA等有潜在的互操作性，允许开发者将TED集成到更广泛的自动驾驶研究与应用中。开发者可以利用TED的特性改进现有系统或构建新的3D感知模块，进而促进整个自动驾驶技术的发展。

请注意，实际应用中需要详细阅读项目文档、实验不同配置以找到最适合特定需求的实践方式。

TED Transformation-Equivariant 3D Object Detection for Autonomous Driving 项目地址: https://gitcode.com/gh_mirrors/te/TED