
部署加速
eric-zsf
Where there is a will, there is a way.
展开
-
pytorch推理时将prelu转成relu实现
pytorch推理时将prelu转成relu实现 很多时候,我们的推理框架如,tensorrt,支持relu实现,但是不支持Prelu。此时我发现了该项目https://github.com/PKUZHOU/MTCNN_FaceDetection_TensorRT,其中说道:Considering TensorRT don’t support PRelu layer, which is widely ...转载 2020-07-20 10:16:34 · 1144 阅读 · 2 评论 -
TensorRT INT8量化原理以及如何编写校准器类进行校准
转至 https://blog.youkuaiyun.com/oYeZhou/article/details/106719154 同时,使用TensorRT进行INT8量化的过程也分享到了GitHub,欢迎大家参考。目录1、INT8量化过程2、编写校准器,并进行INT8量化1、INT8量化过程众所周知,一个训练好的深度学习模型,其数据包含了权重(weights)和偏移(biases)两部分,在其...转载 2020-06-28 19:01:17 · 6367 阅读 · 1 评论 -
TensorRT下FP32转INT8的过程
TensorRT下FP32转INT8的过程 原文链接:https://blog.youkuaiyun.com/qq_32043199/article/details/81119357 ...转载 2020-01-14 10:11:47 · 1628 阅读 · 1 评论 -
TensorRT_Document
<转载自: http://blog.ijunyu.top/2019/02/27/TensorRT-Document/> TensorRT开发者手册1.什么是TensorRT?TensorRT源程序是一个能提高英伟达GPU(Griphics processing units)推理性能的C++库。它与TensorFlow、Caffe、PyTorch、MXNet等训练框架相辅相成。它更加关...转载 2019-06-28 17:40:10 · 1471 阅读 · 0 评论 -
TensorRT 的 C++ API 使用详解
原文链接:https://blog.youkuaiyun.com/u010552731/article/details/895018191. TensorRT 的 C++ API 使用示例进行推理,需要先创建IExecutionContext对象,要创建这个对象,就需要先创建一个ICudaEngine的对象(engine)。两种创建engine的方式:使用模型文件创建engine,并可把创建的eng...转载 2019-09-18 13:39:16 · 6816 阅读 · 0 评论