Tensorrt部署(未完待续)

最新推荐文章于 2025-03-06 23:30:00 发布

从心_

最新推荐文章于 2025-03-06 23:30:00 发布

阅读量640

点赞数

分类专栏：目标检测文章标签： c++ pytorch

本文链接：https://blog.youkuaiyun.com/qq_33414707/article/details/127942886

版权

TensorRT两种网络部署方式
a. parser对网络模型进行解析导入
b. 利用tensorrt api，逐层定义构建网络
模型→Onnx → TRT API → TRT Builder → TRT Engine
a. onnx文件包含了网络的结构和参数，onnx可视化：https://netron.app/
b. 步骤：将训练好的模型转换至onnx格式，onnx输入给Tensorrt，并指定优化参数，构建引擎得到tensorrt Engine，进行推理
Onnx 转换为tensorrt Engine代码

声明一个explicit batch网络→ parser解析onnx文件→根据config指定的优化参数序列化→runtime 反序列化得到engine

class Logger : public nvinfer1::ILogger {
   
 void log(Severity severity, const char* msg) noexcept override {
   
  // suppress info-level messages
  if (severity <= Severity::kWARNING)
   std::cout << msg << std::endl;
 }
} logger