轻量级深度学习加速库：TensorRT YOLOv5 v6 封装 DLL，支持多模型加载、批量图片处理和跨平台调用

tensorrt yolov5 v6 封装dll
windows vs2019 一个dll，支持同模型多次加载和不同模型同时多次加载，支持批量图片，支持mfc, qt和C#调用，支持模型指定GPU运行，单卡gpu,12线程12个识别任务,平均只要35ms

ID:412200665941252294

IT干将

TensorRT是一种高性能的深度学习推理引擎，它可以在GPU上加速深度学习模型的推理过程。Yolov5是目标检测领域的一种先进的神经网络模型，它在目标检测任务中具有很高的准确率和速度。本文将介绍如何将Yolov5模型通过TensorRT封装为一个动态链接库（DLL），并提供灵活的调用方式，支持同模型多次加载、不同模型同时多次加载，以及多种计算平台的调用。

在使用TensorRT封装Yolov5模型之前，我们首先需要安装相应的环境。在Windows系统下，我们可以借助Visual Studio 2019来进行开发和编译。在安装好相应的软件和环境后，我们可以开始封装Yolov5模型为DLL的过程。

首先，我们需要使用PyTorch或者其他深度学习框架加载和训练Yolov5模型。在训练完成后，我们将模型保存为ONNX格式，并导出权重文件。接下来，我们使用TensorRT的Python API加载ONNX文件，并进行模型优化和推理引擎的构建。通过设置不同的参数，我们可以指定模型在GPU上的运行方式，包括选择运行的GPU设备、指定线程数等。在构建完成推理引擎后，我们将其序列化为