TensorRT - 推动AI落地的利器：性能加速与部署应用

目录

 

1. TensorRT是什么？

1.1 GPU体系结构

1.2 CUDA - 统一计算架构

1.3 cuDNN - 深度神经网络学习加速库

1.4 TensorRT - 深度神经网络学习部署加速器

1.4.1 TensorRT层次结构

1.4.2 TensorRT作用

1.4.3 TensorRT支持的训练框架

1.4.4 TensorRT部署方式

2. 为什么要使用TensorRT?

2.1 高性能

2.1.1 离线模型生成阶段

2.1.2 模型推理计算

2.2 易扩展

2.3 跨平台

3. 如何使用TensorRT？

3.1 TensorRT部署应用流程示例

3.2 自定义Plugin

3.3 量化

3.3.1 量化模型的优点

 3.3.2 量化的流程

---

1. TensorRT是什么？

在介绍TensorRT之前，先介绍一下GPU、CUDA和cuDNN。GPU具有强大的并行计算能力，尤其对于简单的大量的计算，如矩阵计算等，这与其固有的体系结构设计有关。

1.1 GPU体系结构

GPU采用了一种被称为SIMT的体系结构，也就是相对于CPU中的SIMD的概念。SIMT就是Single Instruction Multiple Threads，也就是一条指令多个线程同时执行，但是与SIMD有所不同的是SIMT同时执行的每个线程是可以有不同分支的。

GPU这种高并行计算能力是由其本身的硬件结果决定的。下图可以看到GPU由大量SM构成，每个SM又由被称为CUDA core构成，每一个core就是一个单独的处理器，执行运算。而