TensorRT 深度学习前向推理简单介绍

最新推荐文章于 2024-03-13 18:23:42 发布

jsa158

最新推荐文章于 2024-03-13 18:23:42 发布

阅读量1.7w

点赞数 6

分类专栏： GPU 深度学习文章标签：深度学习

本文链接：https://blog.youkuaiyun.com/jsa158/article/details/53944159

版权

本文介绍了TensorRT在深度学习前向推理中的优势，强调其高精度和高速度，并详细阐述了TensorRT的处理流程、支持的层、转换与优化方法以及未来的发展方向，包括自定义层支持和更多层的兼容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

二、TensorRT介绍
TensorRT 现在是inference 精度最高，速度最快的，而且在不断的改进过程中，在保证软件精度的同时，不断提高速度；TensorRT只能用来做Inference，不能用来做train；
TensorRT V1不能和caffe 同时工作，Release-V2解决这个问题，内部测试已经没有问题。
1、TensorRT的需要的文件
需要的基本文件（不是必须的）
1>网络结构文件（deploy.prototxt）
2>训练的权重模型(net.caffemodel)
TensorRT 2.0 EA版中的sampleMNISTAPI和TensorRT 1.0中的sampleMNISTGIE 几乎没有变化，就是不使用caffemodel 文件构建network 的例子。
2、TensorRT支持的层
Convolution: 2D
Activation: ReLU, tanh and sigmoid
Pooling: max and average
ElementWise: sum, product or max of two tensors
LRN: cross-channel only
Fully-connected: with or without bias
SoftMax: cross-channel only
Deconvolution
对于TensorRT 不支持的层，可以先将支持的层跑完，然后将输出作为caffe的输入，用caffe再跑，V1不支持TensorRT 和caffe同时工作，V2支持。（例子NVIDIA正在做，后期可能会上传github）
3、Tens