
TensorRT
文章平均质量分 91
ZhouJianGuos
这个作者很懒,什么都没留下…
展开
-
TensorRT(三)TensorRT实现batch批处理(Python版 )
原文地址:ZhouJianGuo|个人博客https://www.zhoujianguo.ltd/#/fore/article?id=142一、 前言在我的上一篇文章中,已经讲述了TensorRT如何使用,并且是支持对单个数据的输入以及处理并且输出结果,然而在实际应用中,我们往往是需要将多个输入数据构造为一个batch,一次性喂入深度学习模型并进行预测,并获得对应的结果。同样的,TensorRT也是支持batch批处理输入数据的,并且也能够使检测速度有一定的提升。本文将会简单地介绍如何实原创 2022-05-07 18:56:09 · 4279 阅读 · 9 评论 -
TensorRT(一)Windows+Anaconda配置TensorRT环境 (Python版 )
本文主要记录一下,windows+Anaconda配置TensorRT的教程,通过此教程配置完TensorRT后,可以在Anaconda的虚拟环境内使用TensorRT注意:本文背景环境为Windows 10 和 Anaconda已经安装好,若没有安装好,可以参考之前的一篇文章 点击这里进行跳转,里面记录了Anaconda的相关教程一、创建虚拟环境进入conda命令控制台,进入方法如下图所示输入以下指令conda create -n tensorrt python=3.8输原创 2022-04-02 18:28:29 · 14970 阅读 · 5 评论 -
TensorRT(二)TensorRT使用教程(Python版)
一、前言1.1 本文目标本文主要是宏观地阐述一下如何使用TensorRT来部署深度学习模型以实现对模型的加速,从而提高深度学习模型运行的效率,根据我自己的实测,确实可以达到官方所说的六倍以上的速度(如下图所示)。但是本文适合快速入门了解TensorRT使用的宏观流程,具体细节还是建议参考TensorRT的官方文档。目前,TenorRT已经支持了主流的深度学习框架,并且截至本文发布前,TensorRT已经更新到了8.2的版本,说明TensorRT还是比较成功的(说实话,英伟达在AI领域原创 2022-01-25 15:27:52 · 41627 阅读 · 26 评论