将ufld训练的pytorch模型转换成TRT格式模型使用tensorrt加速运行,目前只完成了使用python版本测试使用,后续会继续探索部署到 nvidia xavier,使用C++完成整个部署流程。
主要参考大神写的工具:https://github.com/KopiSoftware/TRT_Ultra_Fast_Lane_Detect
目录
环境安装
首先需要安装UFLD官方指导中要求的环境以及上边TRT项目中要求的环境,另外需要安装Tensorrt环境。
主要记录安装tensorrt步骤:
- 下载安装包
首先根据自己cuda版本下载安装包:
我的环境对应的tensorrt包(cuda10.2 + cudnn8.2),下载前需要注册nvidia帐号
开始安装(均在conda env 下安装)
注意,我在step 2中是找不到distribute_setup.py这个文件,不过并没有影响安装,并且在step 3中最好指定python版本安装,python3.7 configure.py --cuda-root=/where/ever/you/installed/cuda
- 安装tensorrt
转模型
转模型参照github项目中的README.mdi
step1 修改配置文件configs/tusimple_4.py,主要是test_model:test_model = 'model.pth'
step2 pytorch模型转onnx
python3 torch2onnx.py configs/tusimple_4.py
step 3 onnx模型转trt模型
python onnx_to_tensorrt.py -p ${mode_in_fp16_or_fp32} --model ${model_name}`