TensorRT：1.基本概念和环境准备

折腾了很多C++部署的方案，最终还是需要回到速度这个问题上来，目前能进行模型加速的，就只有TensorRT了，刚好它也是C++接口，能满足我的需求。

1.什么是TensorRT

听起来，TensorRT和TensorFlow、PyTorch和Caffe等深度学习框架很像，实际差别很大。我们常用的深度学习模型更多的注重于模型的设计训练，而TensorRT并不关心如何训练我们的深度学习模型
，它只负责模型的推理（inference）过程，只考虑如何将已训练好的模型进行高效快速的推理，协助于部署应用。

官网地址：
https://developer.nvidia.com/tensorrt

参看官方的图：

注意：
TensorRT是NVIDIA推出的，是为它自家GPU服务的，所以并不支持在CPU和其他GPU上使用。

2.TensorRT为什么能让模型加速？

采用TenorRT对模型进行推理部署，会比模型原生框架跑得快，它是怎么做多的呢？
我们看下官方的说法，有几个方面优化：

• 去除输出没有被使用的层
• 去除那些相当于没用的操作
• 将卷积、偏置和ReLU操作融合在一起
• 聚合那些相似的操作
• 融合了残差层
• …

巴拉巴拉说了一堆，综合来看，实际发挥作用最大的就两个：

• 第一个是算子融合（网络层合并）。TensorRT通过对层间的横向或纵向合并（合并后的结构称为CBR，意指 convolution,
  bias,