xu.hyj

在本文中我们使用pytorch自带的工具将pt模型转为onnx模型，并使用onnxruntime推理引擎进行推理。为了保证模型转换过程中精度，进行了精度对齐的小实验，证明转换前后的误差在1e-6这个级别，是可以忍受的。后续继续将onnx转为tensorRT进行部署，实现从pt–onnx–tensorRT这个部署路线。

uint32_tint在RTX中，有两个阶段：1）build engine：将储存了层名和权重的wts文件转换为engine文件。该过程需要IBuilder和INetwork；2）inference：直接将engine读取到IRuntime中，进行推理。此时的网络定义只是一个空壳，没有结构也没有权重参数。ONNX是一种中间件表示协议，规定了网络的结构且储存了参数。现在可以用TensorRT的ONNX Parser接口将ONNX文件中的结构和参数填充到上文定义的空客网络network中。

TensorRT是针对NVIDIA显卡设备的加速方案，你要使用TensorRT则证明你有一定的深度学习基础，那么在你的Ubuntu上配置好显卡驱动、CUDA以及cuDNN一定是小菜一碟。在上文的TensorRT文件夹中，提供了头文件和库文件供开发者直接使用，所以我们将其头文件和库文件的路径加入到环境变量，方便开发时使用。在测试环节，我们将尝试使用TensorRT的IBuilder创建一个builder，如果能够创建成功不报错，说明环境配置上没有问题。可以看到很多版本，我们选择最新的8.x的版本。