[TensorRT进击之旅] TensorRT 安装篇

最新推荐文章于 2025-03-27 18:34:36 发布
最新推荐文章于 2025-03-27 18:34:36 发布
阅读量9.5k 收藏 5
点赞数 4
分类专栏： TensorRT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_21720047/article/details/84447350
版权
本文介绍了在TensorRT安装过程中遇到的问题及解决方案，包括CUDA和cuDNN版本调整、pycuda安装、TensorRT库的拷贝、Python API调用异常以及TensorFlow的安装。在解决_py_Zero异常时，发现TensorRT仅支持Python3.5，不支持3.6，并提供了相应的环境修复和whl包重新安装的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

11月21、22两天参加了苏州的NVIDIA GTC 2018大会，各大厂商把TensorRT 用的神乎其神，京东无人柜在TRT的加成之下，模型能搞提升一倍，效果可观。

1. CUDA / CUDNN 版本修改

TensorRT5 的安装依赖 cuda 9.0 和 cuDNN 7.3.1 所以我矫枉过正，把cuda 9.2 拉回到了 cuda 9.0，并重新配置了 cuDNN。
此外我按照

在这里插入图片描述

路径是： /usr/lib/x86_64-linux-gnu/libcudnn.so.7 -> libcudnn.so.7.3.1

这个安装过程相对简单，不再赘述。

2. pycuda 安装

我的环境是Ubuntu16.04，因为依赖装得比较多，所以这个很简单，一条命令搞定了 pip3 install pycuda ，详细过程可以参考下面。
https://wiki.tiker.net/PyCuda/Installation/Linux/Ubuntu
另：
由于公司内部各个python版本共用一个 pip3 ，所以为了安装到指定的 python3.5 目录下，是通过
pip3.5 install -t /home/superuser/.local/lib/python

最低0.47元/天 解锁文章
风雨之巅尽是晴 | 985 CS 本科毕业放弃保研 gap 一年有感
a119334的博客
06-30 1140
985 CS 本科毕业放弃保研 gap 一年有感
Tensorflow For Windows 10 (cuda9.2)
qq_30425275的博客
05-20 9565
一.安装前需要知道的一些事情1.你的电脑是windows 10 64位操作系统;2.你的显卡支持cuda;3.由于目前tensorflow还不能支持cuda9.2,所以只能通过源码编译或者别人编译好的安装包安装(安装包我会在下边给出来)。二.开始安装1.安装cuda(cuda_9.2.88_win10.exe)以及补丁(cuda_9.2.88.1_windows.exe),下载好以后直接运行即可,...
tensorrt安装使用教程
xiaomu_347的博客
10-19 1634
https://blog.csdn.net/zong596568821xp/article/details/86077553 https://blog.csdn.net/Tosonw/article/details/92643231
【Tensorrt】——pspnet部署尝试
怡宝2号
11-06 921
1. 问题 训练时采用的pytorch框架，采用动态尺寸的输入。所以最好的目标就是像用pytorch一样，采用动态尺寸的输入，得到动态尺寸的输出 pspnet解码部分的上采样，在python下能得到任意尺寸的输出，但导出到onnx时是不能的。因为interpolate函数的size要输入为int，而 torch.onnx.export 又不支持 int 的输入类型 解决方案： 设置interpolate的 scale_factor参数，这样不能多尺度测试 ## onnx 输入多大，返回多大，不能用多尺
【TensorRT】TensorRT从安装到推理——Python 环境下 MobileNetV4 三分类任务
weixin_52010459的博客
03-27 1336
我想开发一个基于深度学习的分类小软件，逐渐了解到了TensorRT在模型推理速度上的优势，经过一下午资料的查找实现了将onnx模型转为TensorRT格式模型的推理及测试过程。将实现过程记录下来方便日后查看。本文实验设备是MX350显卡 2G显存。
TensorRT 5.0 学习笔记（二）
qq_20373723的博客
03-15 1313
前面为了多了解一下TensorRT废话比较多，接下来尽量精简 二、C++ 版本的TensorRT 训练完模型以后使用TensorRT的必要步骤包括： 通过模型创建一个TensorRT的网络定义； 调用TensorRT构建器根据网络结构创建一个优化运行引擎； 序列化和反序列化这个引擎，以便在运行时快速重建； 将数据加载到引擎中来完成推断。 从本质上讲，C ++ API和Python A...
TensorRT-LLM保姆级教程（二）-离线环境搭建、模型量化及推理
吃果冻不吐果冻皮
12-04 3201
接下来以Bloom模型为例，进行 TensorRT-LLM 开发实践。build.py：用于构建 TensorRT 引擎来运行Bloom模型。run.py：模型推理。：使用模型来总结 CNN Dailymail 数据集中的文章。：将HF格式的模型进行转换。支持 FP16支持 INT8 & INT4 仅权重量化支持 INT8 KV CACHE 量化支持SmoothQuant 量化支持张量并行大模型量化概述进行过简要概述，后续有时间更详细的梳理常见的一些大模型量化技术。
TensorRT 安装笔记
走错路的程序员
10-15 7211
本文是按照官方的安装手册执行的安装 链接如下 https://developer.nvidia.com/tensorrt-getting-started 具体怎么安装的的请一定要参考官方英文原文, 虽然是英文的, 但是咱们有翻译工具, 基本上看懂不难. 遇到的问题1安装TensorRT的时候报错, 命令如下. python3 -m pip install --upgrade nvidia-tensorrt 报错, 查看了一下后面 If you receive an error message in th
tensorRT安装详解（linux与windows）
qq_58158950的博客
10-18 1万+
有关tensorRT的介绍见。
利用TensorRT对深度学习进行加速
热门推荐
老潘的博客
01-23 1万+
关于本文章的最新更新请查看:oldpan博客 前言 TensorRT是什么，TensorRT是英伟达公司出品的高性能的推断C++库，专门应用于边缘设备的推断，TensorRT可以将我们训练好的模型分解再进行融合，融合后的模型具有高度的集合度。例如卷积层和激活层进行融合后，计算速度可以就进行提升。当然，TensorRT远远不止这个： 我们平时所见到了深度学习落地技术：模型量化、动态内存优化以及其他...
TensorRT6.0.1安装指南
幸福回头的博客
09-18 9087
看到2019年9月18号，TensorRT6.0.1发布了，也是偶然看到了，发现这个版本已经从TensorRT5--->TensorRT6，那肯定是有重大性能上的提升，安装的方法以及出现的问题在这列举一下，以防止后人继续踩坑。 首先要下载TensorRT6.0.1版本，直接去官网下载即可，需要有一个NVIDIA 的官方账号，登录之后填写一个相关内容就可以进行...
分别使用 TensorRT 和 CUDA 加速 MTCNN
ShaderJoy 的兴趣技术杂货铺
02-13 7297
Github 现有的 TensorRT 加速的 MTCNN 【PKUZHOU/MTCNN_FaceDetection_TensorRT】不是基于插件的，而是走了使用 scale和 ReLU 、eltwise-sum 层 “曲线救国”的路线—— PKUZHOU 认为 PReLU 会破坏 TensorRT 的 CBR 优化，但实际上实现 PReLU 插件以后耗时更少，如图 左侧是“曲线救...
TensorRT学习笔记（一）——使用Python API调用TensorRT
weixin_41693877的博客
07-19 7825
前言 作为在英伟达自家GPU上的推理库，TensoRT仍然是使用英伟达显卡部署方案的最佳选择。TensorRT虽然支持Pytho和C++调用，但是在TensorRT8之前，python api只能在linux上使用，直到TensorRT8才支持python api在window下使用。 具体安装在官方文档都有说明，附上官方文档：TensorRT官方文档 安装 .........
ubuntu安装tensorRT
weixin_37669089的博客
12-25 3700
软件版本： ubuntu16.0.4 + GTX1060 + cuda9.0 + cudnn7.4 + tensorRT5 1. 安装显卡驱动 参考博主前一篇博客 https://blog.csdn.net/weixin_37669089/article/details/85240943 2. 安装cuda9.0 对于要安装tensorRT的朋友，请使用deb文件来安装cuda，使用.run文件安...
TensorRT实现yolov5推理加速FAQ
IT菜鸟
09-22 2731
一、参考资料 yolov5_tensorrt_int8 tensorrtx [TensorRT int8 量化部署 yolov5s 5.0 模型](https://www.cnblogs.com/KdeS/p/15119831.html) Tensorrt环境安装及yolov5模型转换以及量化部署INT8 二、重要说明 github源码: tensorrtx 三、可能出现的问题 dnn未安装 /home/yichao/MyDocuments/tensorrtx/yolov5/calibrator.c
Tensorrt python接口代码详解
weixin_39853245的博客
01-03 2893
1 build engine（不同模型代码不一） 可选择是否添加的代码： （1）workspace size （2）max_batchsize （3）calibrator: float32->int8或fp16 2 对engine分配内存 3 使用builder创建context 4 加载数据 5 inference操作： （1）Transfer input data to the GP...
TensorRT5安装及使用教程
weixin_43229347的博客
09-04 1614
https://blog.csdn.net/zong596568821xp/article/details/86077553 tensorrt5中 参考这个博客， 由于convert_to_uff改变 所以修改：3.3 格式转化
TensorRT-5.x.x安装指南
suezhang9的博客
08-28 675
官网安装指南 4.3. Tar File Installation Note: Before issuing the following commands, you’ll need to replace 5.1.x.x with your specific TensorRT version. The following commands are examples. Install the foll...
Jetson Xavier NX 卸载Tensorrt8.2.1并安装指定版本8.0.1
weixin_41653613的博客
08-09 5830
arm架构安装指定版本的tensorrt
python+pycharm安装 进击六角龙
最新发布
04-03
### 如何在 PyCharm 中配置 Python 环境以运行或安装 '进击六角龙' 相关项目 #### 配置 Python 解释器 为了在 PyCharm 中成功运行或安装与 '进击六角龙' 相关的 Python 项目，首先需要正确设置 Python 解释器。可以...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值