BEVDet-TensorRT C++实现， Orin实现34FPS

项目地址： github

介绍

BEVDet是一个基于BEV的多相机3D目标检测模型。本项目实现了BEVDet的C++版本，并用TensorRT加速推理。
本项目实现了:

• 长时序（long-term）模型的推理
• Depth模型的推理
• 在NVIDIA A4000上，BEVDet-r50-lt-depth模型中，TRT FP32模型推理速度比PyTorch FP32模型快2.38倍, TRT FP16模型比PyTorch FP32模型快5.21倍
• 在Jetson AGX Orin上进行推理，FP16模型推理时间在29ms左右，实现了实时化
• 实现了Dataloader，可以在nuScenes数据集上进行测试

本项目的特点：

• 集Resize、Crop与Normalization于一体的预处理CUDA Kernel
• Preprocess的CUDA kernnel部分，实现了Nearest插值和Bicubic插值
• C++与CUDA kernel实现的过往帧BEV特征对齐
• 多线程+多数据流NvJPEG
• Scale-NMS

推理速度

下表是BEVDet-R50-4DLongterm模型在NVIDIA A4000与Jetson AGX Orin上面的推理