本文详细介绍了深度学习模型加速的重要性，特别是对于实时性要求高的任务。TensorRT作为一个高效的推理工具，通过模型优化、精度调整、内核自动调优等手段实现模型加速。它支持TensorFlow、PyTorch等框架的模型导入，并提供了CaffeParser、UFFParser和ONNXParser等导入方式。模型在TensorRT中的执行分为网络定义、构建优化和生成引擎三个阶段。注意，TensorRT生成的Engine与GPU、CUDA和TensorRT版本相关，且不支持CPU加速。文章还提醒，使用C++接口可以获得更快的推理速度，并提供了模型导入、执行推理的流程和注意事项。
资源
惯例先放资源
1.官方的tensorrt文档
2.tensorrt官方主页
3.tensorrt支持的操作
1.为什么需要模型加速
模型加速越来越成为深度学习工程中的刚需了，最近的CVPR和ICLR会议中，模型的压缩和剪枝是受到的关注越来越多。
毕竟所有的算法想要产生经济效益一定要考虑落地的情况，可能我们看很多论文提出的方法或者说github公布的代码大多关注精度及python环境下的FPS，但在实际的工程用在考虑精度的同时，速度也是十分重要的，且更多的公司越来越青睐python 训练，C++重写推理并利用tensorrt库进行加速。
拿自动驾驶举例来说，如果使用一个经典的深度学习模型，单帧图像的推理速度很容易就跑到200ms的延时，那么这意味着，在实际驾驶过程中，你的车一秒钟只能看到5张图像，这限制了我们对环境的感知情况，这是很危险的一件事。
再比如来说，同样功能的app，一个每次打开需要响应500ms的，和一个每次打开只需要响应100ms的，用户用脚投票也会淘汰掉500ms的app。
所以，对于实时响应比较高的任务，模型的加速时很有必要的一件事情了。
最低0.47元/天 解锁文章
扫一扫
2686
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
