一篇关于我对tensorrt的理解（包括：概念+代码实战）

一、概念

1.什么是tensorrt?

TensorRT是英伟达推出的一个深度学习推理（Inference）优化器，主要用于提高模型在NVIDIA GPU上的推理速度。它的核心目标是通过优化模型结构、减少计算资源消耗，显著提升模型推理速度（降低延迟）和吞吐量（每秒处理的样本数），同时保持模型精度。
1）支持将主流框架（如 TensorFlow、PyTorch、MXNet）训练好的模型转换为 TensorRT 优化格式，常用中间格式为 ONNX。但注意：在pytorch框架下，使用trt必须通过onnx模型解析才可以构建。
2）支持处理可变输入尺寸（如不同分辨率的图像或序列长度），适用于动态场景（如实时视频流）。
3）提供高效的 C++ 和 Python API，直接集成到推理服务中。

2.tensorrt与onnx的区别？

ONNX是一个开放的模型格式，用于不同框架之间的互操作性。onnx属于模型转换桥梁，本身不参与具体计算，并不能实现加速任务，而是依赖于后端引擎，如 TensorRT、ONNX Runtime。