自动驾驶框架 UniAD环境部署


统一自动驾驶框架 (UniAD) ,第一个将全栈驾驶任务整合到一个深度神经网络中的框架,并可以发挥每个子任务以及各个模块的优势,以执行安全的规划。

细节可参考UniAD-源论文地址
在这里插入图片描述


1 环境配置


  • 基础环境ubuntu-20.04、cuda-11.3、torch-1.10.0、python3.8

  • 建议小白和不想折腾的童鞋直接抄作业, 不要只抄90分,都抄了,为啥不直接抄100分, 不要不好意思^_^

  • 配环境和运行报错可以先看1.2小节错误汇总


1.1 环境安装

ubuntu显卡驱动-cuda-cudnn-conda-TensorRT 安装及其配置参考链接

mmcv-full==1.3.16-1.7.2whl下载
mmcv-full==1.4.7-1.7.2whl下载

# 1 创建虚拟环境
conda create -n uniAD python=3.8 -y
# 2 激活虚拟环境
conda activate uniAD

# 3 安装 torch、torchvision、torchaudio
## 安装torch1.11.0以下版本的,不然运行uniAD会报错, 详情见1.2小节
pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 --extra-index-url https://download.pytorch.org/whl/cu113

# 4 安装mmcv-full、mmdet、mmsegmentation
## 4.1 安装mmcv-full,pip在线安装耗时久,建议按4.2采用离线安装 
pip install mmcv-full==1.4.0

## 4.2 离线安装mmcv-full 本节开头有mmcv-full==1.3.16-1.7.2whl下载地址,找到1.4.0进行下载后安装, 注意python版本
pip install mmcv_full-1.4.0-cp38-cp38-manylinux1_x86_64.whl


## 4.3 安装mmdet、mmsegmentation
pip install mmdet==2.14.0 mmsegmentation==0.14.1

# 5 安装scipy、scikit-image
pip install scipy==1.8.0 scikit-image==0.20.0

# 6 下载UniAD
## 6.1
git clone https://github.com/OpenDriveLab/UniAD.git
## 6.2 国内可使用魔法下载
git clone https://mirror.ghproxy.com/https://github.com/OpenDriveLab/UniAD.git

# 7 下载mmdetection3d
## 7.1 进入UniAD目录
cd UniAD
## 7.2 UniAD目录下, 下载mmdetection3d-v0.17.1版本
## 下载失败可加魔法https://mirror.ghproxy.com/, 格式如6.2
git clone https://github.com/open-mmlab/mmdetection3d.git -b v0.17.1

## 7.3 进入安装
cd mmdetection3d
## 7.4 安装mmdetection3d, 耗时比较久
pip install -v -e .

# 8 安装UniAD其他依赖
## 8.1  进入UniAD目录, 因为刚刚在mmdetection3d目录直接cd ..即可
cd ..
## 8.2 安装UniAD依赖
pip install -r requirements.txt

# 9 更新其他依赖
pip install numpy==1.23.4 yapf==0.40.1
## 更新numpy版本可能会报错与mmdetection3d冲突,可忽略该错误

1.2 错误汇总

# 1 报错 1 fatal error: THC/THC.h: No such file or directory
 mmdet3d/ops/ball_query/src/ball_query.cpp:4:10: fatal error: THC/THC.h: No such file or directory 4 | #include <THC/THC.h>
# 报错的原因是THC方法目前在最新版本的 Pytorch 中已被弃用,并被 ATen API 取代,因此在高版本的Pytorch(版本在1.11.0及以上)编译安装mmdet3d的时候就会遇到无法找到THC/THC.h的报错。
# 修改方法1:#include <THC/THC.h>全部替换成下面2句即可, 使用vscode全局搜索
#include <ATen/cuda/CUDAContext.h> 
#include <ATen/cuda/CUDAEvent.h>

# 修改方法2 :安装小于torch1.11.0即可, 本人使用的方法2, 方法1请自行验证
安装torch=1.10.0即可

# 2 报错2 docker环境中:ImportError: libGL.so.1: cannot open shared object file: No such file or directory
# 安装ffmpeg即可
apt-get install ffmpeg -y

# 3 报错3 ModuleNotFoundError: No module named 'numpy.typing'
# 解决方法:更改numpy版本                    
pip install numpy==1.23.4

# 4 报错4 TypeError: FormatCode() got an unexpected keyword argument 'verify'
# 更新yapf版本即可
pip install yapf==0.40.1

# 5 报错5 FileNotFoundError: [Errno 2] No such file or directory: 'data/nuscenes/maps/expansion/boston-seaport.json'
重新去nuscenes官网下载Map expansion即可,然后解压放入/nuscenes/maps/目录下

# 6 报错6 OSError: ckpts/bevformer_r101_dcn_24ep.pth is not a checkpoint file
官方github-安装教程中下载权重即可

# 7 报错7 FileNotFoundError: img file does not exist: data/nuscenes/./data/nuscenes/samples/CAM_FRONT/n015-2018-11-21-19-38-26+0800__CAM_FRONT__1542800382862460.jpg
## 解决方法:路径不对,修改如下
projects/mmdet3d_plugin/datasets/pipelines/loading.py 48行注释掉

# 8 报错8 RuntimeError: CUDA out of memory. Tried to allocate 2.12 GiB (GPU 0; 47.49 GiB total capacity; 39.66 GiB already allocated; 1.94 GiB free; 41.65 GiB reserved in total by PyTorch)
# 训练到第2个周期,显存爆了,48G不够用, 
# 解决方法:老板加钱, 贫民就别折磨自己了

# 9 报错9 运行代码时报错ModuleNotFoundError: No module named 'projects'
# 解决方法:同一个终端中先运行下面代码, 然后重新执行你需要运行的代码
export PYTHONPATH=$PYTHONPATH:"./"

import sys
sys.path.append("./")

2 数据集准备

准备数据参考

准备权重参考

2.1 生成数据集

pkl文件可以在准备数据参考链接自己下载,也可以直接运行脚本生成pkl文件。

nuscenes-mini数据集官方下载参考Fast-BEV代码复现实践第2.1节下载数据集篇

# 1 官方直接提供数据集nuscenes.pkl文件下载
cd UniAD/data
mkdir infos && cd infos
# train_infos
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0/nuscenes_infos_temporal_train.pkl 
 # val_infos
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0/nuscenes_infos_temporal_val.pkl 

# 2 使用nuscenes数据集生成pkl文件
./tools/uniad_create_data.sh

# 本人使用nuscenes-mini生成pkl文件
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/infos --extra-tag nuscenes --version v1.0-mini --canbus ./data/nuscenes

# 3 准备motion_anchor
cd UniAD/data
mkdir others && cd others
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0/motion_anchor_infos_mode6.pkl

2.2 下载权重

# 代理https://mirror.ghproxy.com/
# 1. 创建ckpts目录
mkdir ckpts && cd ckpts

# 2. 下载预训练权重
# Also the initial state of training stage1 model
wget https://github.com/zhiqi-li/storage/releases/download/v1.0/bevformer_r101_dcn_24ep.pth

# 3. Pretrained weights of stage1 model (perception part of UniAD)
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0/uniad_base_track_map.pth

# 4. Pretrained weights of stage2 model (fully functional UniAD)
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0.1/uniad_base_e2e.pth

2.3 数据集、权重目录结构

nuscenes-mini生成的数据目录data如下, 权重目录ckpts如下

nuscenes-full全部数据集可能生成目录结构与下不同, 可参考准备数据参考

UniAD
├── projects/
├── tools/
├── ckpts/
│   ├── bevformer_r101_dcn_24ep.pth
│   ├── uniad_base_track_map.pth
│   ├── uniad_base_e2e.pth
data
├── infos
│   ├── nuscenes_infos_temporal_train.pkl
│   ├── nuscenes_infos_temporal_train_mono3d.coco.json
│   ├── nuscenes_infos_temporal_val.pkl
│   └── nuscenes_infos_temporal_val_mono3d.coco.json
├── nuscenes
│   ├── can_bus
│   ├── maps
│   ├── samples
│   ├── sweeps
│   ├── v1.0-mini
├──  others
│   └── motion_anchor_infos_mode6.pkl
├── ...

3 运行

# 1 修改配置
## 测试环境是否正常时,由于该模型占用显存比较大,先把/projects/configs/stage1_track_map/base_track_map.py与./projects/configs/stage2_e2e/base_e2e.py中的samples_per_gpu与workers_per_gpu两个参数设为1进行测试
samples_per_gpu=1
workers_per_gpu=1
## 正常训练时, 可以根据显存大小进行调整, 逐渐增大, 直到显存拉满 

# 2 训练
## 2.1 脚本运行 
### 脚本命令最后的1指使用了1个gpu,因为本人的只有一张卡, 所以给1
./tools/uniad_dist_train.sh ./projects/configs/stage1_track_map/base_track_map.py 1

## 2.2 不适用脚本
python ./tools/train.py ./projects/configs/stage1_track_map/base_track_map.py  --gpus 1
## 训练完成生成结果保存到./work_dirs目录下

# 3 验证
./tools/uniad_dist_eval.sh ./projects/configs/stage1_track_map/base_track_map.py /PATH/TO/YOUR/CKPT.pth N_GPUS

# 第一阶段, 不带轨迹
./tools/uniad_dist_eval.sh ./projects/configs/stage1_track_map/base_track_map.py ./ckpts/uniad_base_track_map.pth 1
## KeyError: 'traj'1阶段运行可视化有bug, 没有traj这个参数, 直接进行2阶段可视化

# 第二阶段, 带轨迹
./tools/uniad_dist_eval.sh ./projects/configs/stage2_e2e/base_e2e.py ./ckpts/uniad_base_e2e.pth 1
## 运行后生成结果默认保存到output与test目录下,可视化结果需要output目录下results.pkl文件

# 4 可视化
## 采用2阶段的生成results.pkl的结果进行可视化
./tools/analysis_tools/visualize/run.py --predroot output/results.pkl --out_folder ./vis-dir --demo_video test_demo.avi --project_to_cam True
# 运行完成后生成可视化结果保存./vis-dir目录, 显示如下

在这里插入图片描述

在这里插入图片描述



### 安装和配置 UniAD 项目的步骤 为了成功在 Ubuntu 20.04 下复现 UniAD 项目,需要完成以下几个方面的准备工作: #### 1. 更新系统并安装必要的依赖项 确保系统的软件包是最新的,并安装一些基础工具。可以运行以下命令更新系统并安装基本开发工具: ```bash sudo apt update && sudo apt upgrade -y sudo apt install build-essential cmake git wget unzip pkg-config -y ``` 这些工具对于编译 C++ 库以及下载代码非常必要[^1]。 --- #### 2. 配置 Python 环境 UniAD 可能基于特定版本的 Python 和 PyTorch 运行。建议创建虚拟环境以隔离依赖项。以下是具体操作方法: ```bash sudo apt install python3-pip python3-venv -y python3 -m venv uniad_env source uniad_env/bin/activate pip install --upgrade pip setuptools wheel ``` 激活虚拟环境后,可以根据 UniAD 的需求安装所需的库。通常情况下,`requirements.txt` 文件会列出所有必需的依赖项。如果文件存在,则可以通过以下方式安装它们: ```bash pip install -r requirements.txt ``` 需要注意的是,Python 版本应与 UniAD 所需的版本一致。推荐使用 `python3.8` 或更高版本[^2]。 --- #### 3. 安装 CUDA 和 cuDNN 由于 UniAD 使用深度学习框架(如 PyTorch),因此可能需要 GPU 支持。安装 CUDA 和 cuDNN 是关键一步。以下是常见步骤: ##### (a) 卸载旧版 NVIDIA 驱动程序 如果有旧版驱动程序,先卸载它们: ```bash sudo apt-get purge nvidia* ``` ##### (b) 添加 NVIDIA PPA 并安装最新驱动程序 ```bash sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update sudo apt install nvidia-driver-<version> ``` 替换 `<version>` 为适合当前硬件的最佳驱动版本号。例如,NVIDIA 推荐的稳定版本可能是 `nvidia-driver-525`。 重启计算机使更改生效: ```bash sudo reboot ``` ##### (c) 安装 CUDA 工具包 根据 UniAD 文档中的要求选择合适的 CUDA 版本。假设需要 CUDA 11.7,则执行以下命令: ```bash wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.0-1_all.deb sudo dpkg -i cuda-keyring_1.0-1_all.deb sudo apt update sudo apt install cuda-11-7 ``` 验证安装是否成功: ```bash nvcc --version ``` ##### (d) 设置环境变量 编辑 `.bashrc` 文件以添加 CUDA 到 PATH 中: ```bash echo 'export PATH=/usr/local/cuda-11.7/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc ``` ##### (e) 安装 cuDNN cuDNN 提供优化后的深度神经网络计算支持。可以从 NVIDIA 开发者网站下载对应版本的 cuDNN 压缩包,并解压到 `/usr/local/cuda-11.7/` 目录下。 --- #### 4. 安装 OpenCV OpenCV 是许多视觉处理任务的基础库,在某些场景中可能会被用到。可以直接通过 APT 安装预构建版本: ```bash sudo apt install libopencv-dev python3-opencv -y ``` 这将自动安装 OpenCV 及其 Python 绑定[^1]。 --- #### 5. 克隆 UniAD 仓库并初始化子模块 从 GitHub 或其他托管平台克隆 UniAD 项目代码: ```bash git clone https://github.com/<username>/uniad.git cd uniad git submodule update --init --recursive ``` --- #### 6. 编译 MMDetection 或其他扩展组件 部分深度学习模型可能依赖于自定义算子或扩展组件。例如,MMDetection 是常用的检测框架之一。按照官方文档说明进行编译即可: ```bash pip install mmdet # 如果需要重新编译 mmcv-full,请运行以下命令 MMCV_WITH_OPS=1 pip install mmcv-full ``` --- #### 7. 测试环境配置 启动 Jupyter Notebook 或终端脚本来测试环境是否正常工作。尝试加载一个简单的模型推理流程,观察是否有任何错误提示。 --- ### 注意事项 - **版本一致性**:确保使用的 CUDA、cuDNN 和 PyTorch 版本完全匹配。不兼容可能导致无法加载 GPU 设备。 - **日志分析**:遇到问题时仔细阅读报错信息,并查阅相关日志文件定位根本原因。 - **备份数据**:在修改系统设置前做好重要数据的备份以防意外丢失。 ---
评论 18
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

全网最菜的Slamer

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值