AI 推理框架速读（2）—— TensorRT

一句话省流版： TensorRT 是 NVIDIA 推出的高性能深度学习推理加速引擎，专为在 GPU 上高效部署和运行 AI 模型而设计，主要使用C++语言在边缘设备上部署深度学习模型

---

🧰 TensorRT 是什么？

TensorRT 是由 NVIDIA 出品的一个高性能深度学习推理工具包（SDK），全名是 TensorRT（Tensor Runtime）。

它的主要作用是：

把你训练好的 AI 模型变得更“苗条”、更“聪明”、更“快”，适合部署到 NVIDIA GPU 上进行高效推理。

TensorRT 提供：

• C++ 和 Python API（从 TensorRT 3 开始）
• 跨平台支持（支持 Linux、Windows、嵌入式 Jetson）
• 与 PyTorch、TensorFlow、ONNX 等深度学习框架无缝对接
  

---

✨ TensorRT 都做了哪些优化？

TensorRT 就像一个“AI 模型瘦身教练 + 加速专家”，它通过一系列聪明的优化策略，让模型能在 GPU 上快得飞起：

✅ 1. 层融合（Layer Fusion）

多个连续操作（如卷积 + bias + ReLU）合并成一个操作，减少中间数据的存储、加载，提高执行效率。

🎯 好处：更少的计算步骤，更快的推理速度。

---

✅ 2. 精度校准（INT8 / FP16）

推理阶段可以容忍一定精度损失，TensorRT 支持将浮点计算从 FP32 降为 FP16 或 INT8：

• FP16（半精度）：精度略降，速度大幅提升
• INT8（整数）：再进一步加速，适合边缘设备部署

🎯 好处：显著降低显存占用、推理时间最多可降低 3-5 倍！

---

✅ 3. 自动内核选择

TensorRT 会根据 GPU 架构、输入维度、模型结构，自动选用最合适的 CUDA 内核执行方案，你无需手动干预。

🎯 好处：智能化加速，适配不同设备性能差异。

---

✅ 4. 动态批处理 & 内存管理

支持 动态批量输入大小，并根据模型实际情况进行自动内存分配与回收，避免内存浪费。

🎯 好处：高效利用 GPU 资源，部署更稳定。

---

🔄 模型转换流程

TensorRT 并不是直接拿来就能用的，而是需要先把你训练好的模型转换一下。标准流程如下：

1. 使用 PyTorch 训练模型（.pt）
2. 导出为 ONNX 格式（.onnx）
3. 使用 TensorRT 将 ONNX 转为引擎文件（.engine）
4. 加载引擎文件，进行推理部署
📊 **转换流程示意图：**

PyTorch / TensorFlow
         ↓
      ONNX
         ↓
     TensorRT
         ↓
   极速推理部署

---

🧩 TensorRT 支持哪些模型？

TensorRT 通过 ONNX 支持大部分主流模型：

• 图像分类：ResNet、MobileNet、EfficientNet 等
• 目标检测：YOLO、SSD、Faster R-CNN 等
• 分割任务：UNet、DeepLab 等
• NLP 模型：BERT、GPT、T5（需简化或量化）
• 多输入/多输出模型也支持（动态 shape）

🎯 重点提醒：虽然 TensorRT 很强大，但不是“万能钥匙”，有些自定义操作可能需要自己实现插件（plugin）。

---

📦 实际应用场景

TensorRT 广泛应用在需要高效推理的生产环境中，特别适合以下场景：

• 👁‍🗨 实时图像识别（如车牌识别、人脸检测）
• 🧠 医学影像分析（病灶检测、CT分割）
• 🤖 机器人视觉与自动驾驶
• 📱 移动端 / 边缘设备推理（配合 Jetson Nano、Xavier）
• 💡 AI 服务部署（比如云端 API 推理）

---

✅ TensorRT 的优势总结

优势	描述
极速推理	提升 2-10 倍推理速度
显存占用更少	支持 FP16 / INT8 精度
支持主流模型	可与 ONNX 接口结合
高度灵活	支持动态输入、动态 shape、batch size 等
跨平台部署	支持 x86、ARM 架构，适合边缘计算和服务器

---

🧠 小结一句话

如果你已经训练好了深度学习模型，想要在 NVIDIA GPU 上实现最高效率推理，那 TensorRT 就是你不可或缺的“加速引擎”。

---