
TensorRT
just_sort
Acdream.
展开
-
深度学习算法优化系列二十二 | 利用TensorRT部署YOLOV3-Tiny INT8量化模型
1. 前言上一节深度学习算法优化系列二十一 | 在VS2015上利用TensorRT部署YOLOV3-Tiny模型 分享了使用TensorRT在GPU上部署FP32的YOLOV3-Tiny模型,这一节继续分享一下如何部署INT8的YOLOV3-Tiny模型。2. 确定走哪条路?和上一节一样,这里仍然是走ONNX->TRT这条路,也就是说我这里的INT8量化是在TensorRT中使用nv...原创 2020-04-04 17:50:34 · 3584 阅读 · 3 评论 -
深度学习算法优化系列二十一 | 在VS2015上利用TensorRT部署YOLOV3-Tiny模型
1. 前言大家好,最近在VS2015上尝试用TensorRT来部署检测模型,中间走了两天弯路,感觉对于一个完全新手来说要做成功这件事并不会那么顺利。所以这里写一篇部署文章,希望能让使用TensorRT来部署YOLOV3/YOLOV3-Tiny检测模型的同学少走一点弯路。2. 确定走哪条路?这里我是将AlexeyAB版本DarkNet训练出来的YOLOV3-Tiny检测模型(包含*.weigh...原创 2020-03-27 18:15:42 · 1155 阅读 · 1 评论 -
深度学习算法优化系列二十 | TensorRT 如何进行细粒度的Profiling
1. 前言今天我将以GoogleNet为例来展示一些TensorRT的优化方法,例子在F:\TensorRT-6.0.1.5\samples\sampleGoogleNet中。这里要展示的是TensorRT的16Bit推理以及基于层的Profiling。2. 关键概念下面来描述几个关键概率。FP16。我们知道FP32指的是Full Precise Float 32,而FP16对应的就是F...原创 2020-03-17 17:55:07 · 2806 阅读 · 0 评论 -
深度学习算法优化系列十九 | 如何使用tensorRT C++ API搭建网络
1. 前言在深度学习算法优化系列十八 | TensorRT Mnist数字识别使用示例 中主要是用TensorRT提供的NvCaffeParser来将Caffe中的model转换成TensorRT中特有的模型结构。其中NvCaffeParser是TensorRT封装好的一个用以解析Caffe模型的工具 (高层的API),同样的还有NvUffPaser用于解析TensorFlow的pb模型,NvO...原创 2020-03-10 17:17:29 · 1688 阅读 · 0 评论 -
深度学习算法优化系列十八 | TensorRT Mnist数字识别使用示例
1. 前言上一节对TensorRT做了介绍,然后科普了TensorRT优化方式以及讲解在Windows下如何安装TensorRT6.0,最后还介绍了如何编译一个官方给出的手写数字识别例子获得一个正确的预测结果。这一节我将结合TensorRT官方给出的一个例程来介绍TensorRT的使用,这个例程是使用LeNet完成MNIST手写数字识别,例程所在的目录为:2. 代码解析按照上一节的讲解,我...原创 2020-03-06 17:57:31 · 1181 阅读 · 0 评论 -
深度学习算法优化系列十七 | TensorRT介绍,安装及如何使用?
1. 前言由于前期OpenVINO的分享已经基本做完了,笔者也可以成功的在CPU和Intel神经棒上完整的部署一些工作了,因此开始来学习TensorRT啦。先声明一下我使用的TensorRT版本是TensorRT-6.0.1.5 。2. 介绍TensorRT是NVIDIA推出的一个高性能的深度学习推理框架,可以让深度学习模型在NVIDIA GPU上实现低延迟,高吞吐量的部署。TensorRT...原创 2020-03-04 18:15:27 · 1392 阅读 · 0 评论