WIN10安装配置TensorRT详解

已于 2023-02-10 23:50:08 修改
阅读量9.4k 收藏 99
点赞数 27
CC 4.0 BY-SA版权
分类专栏： 深度学习部署 文章标签： python 人工智能 深度学习
于 2022-07-02 23:02:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/caobin_cumt/article/details/125579033
本文详细介绍如何在Windows环境下安装配置CUDA、cuDNN及TensorRT，并提供了验证安装是否成功的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

工欲善其事，必先利其器

查看本机适配的CUDA 版本

要想安装TensorRT必须要先安装CUDA和cudnn，那么首先需要去查看自己电脑的英伟达驱动程序程序，位置如下：

NVIDIA控制面板->帮助->组件，如下图所示本机适配CUDA版本为11.6

在这里插入图片描述

下载CUDA安装包

进入CUDA 安装包的下载地址如下：

CUDA Toolkit 11.6 Downloads | NVIDIA Developer

按照机器适配版本，下载好安装包；如果没有帐户，需要先进行注册
在这里插入图片描述

下载cuDNN安装包

进入英伟达官方网站，选择和自己适配的cuDNN版本，地址如下：

cuDNN Download | NVIDIA Developer

如果没有帐户，需要先进行注册
在这里插入图片描述

下载TensorRT安装包

进入英伟达官网，选择和自己机器适配的TensorRT，地址如下：

NVIDIA TensorRT 8.x Download | NVIDIA Developer
在这里插入图片描述

流程化安装软件包
（1）安装CUDA

双击exe文件解压

在这里插入图片描述

NVIDIA安装->仅需一路点击确下一步然后结束

安装成功的标志：

在这里插入图片描述

（2）安装cuDNN

解压与拷贝

在这里插入图片描述

因cuDNN属于是CUDA的一个补丁包，因此不要安装，仅需要将上述三个bin\include\lib文件夹中的相关文件拷贝到CUDA安装位置的bin，include，lib\x64文件夹中。

本电脑默认CUDA路径为：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6

验证

分别运行如下两个命令，若均为pass验证通过，则表示安装成功。

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>bandwidthTest.exe

在这里插入图片描述

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\extras\demo_suite>deviceQuery.exe

在这里插入图片描述

（3）安装TensorRT

解压安装包后得到如下所示图：

在这里插入图片描述

安装TensorRT文件夹中的.whl文件*

pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\python\tensorrt-8.4.1.5-cp38-none-win_amd64.whl 
其中cp38是依据环境使用的python版本获取的

pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\graphsurgeon\graphsurgeon-0.4.6-py2.py3-none-any.whl 

pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl

pip install D:\chorm-download\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\TensorRT-8.4.1.5\uff\uff-0.6.9-py2.py3-none-any.whl

安装完成相应的库以后，需要注意将TensorRT-8.4.1.5文件夹下的lib\include中的文件进行如下拷贝工作，防止在运行tensorrt时候无法找到相对应的Nvinfer.dll

  • TensorRT-8.4.1.5中include文件夹下所有文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include

  • TensorRT-8.4.1.5中lib文件夹下所有lib文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64

  • TensorRT-8.4.1.5中lib文件夹下所有dll文件拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin

（4）验证TensorRT是否安装成功

查看trt的版本

在这里插入图片描述

运行TensortRT文件夹下的sample.py

在这里插入图片描述

如果遇到错误：

在这里插入图片描述

解决方法：

去英伟达官网找到对应的zlibwapi.dll（依据电脑版本下载X64、X86版本的）文件，地址如下：zlibwapi，并将该dll拷贝到C:\Windows\System32文件夹下

至此，windows安装TensorRT的过程就结束了。

window10下RTX3090配置CUDA11.0 tensorflow-gpu版详解
苏打水的杯子的博客
12-24 7934
环境：（亲测可用） window10 RTX3090 python3.7.9 cuda11.0 cudnn-11.0-windows-x64-v8.0.4.30 tensorflow-gpu=2.4.0rc2 请先获得下面的ptxas.exe，替换C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin\ptxas.exe. 问题一：如果报缺cufft64_10.dll或者cudnn64_8.dll或者curand64_10.d
【DL】Windows 10系统下安装TensorRT教程
学无止境、积少成多、厚积薄发
12-06 1500
Windows 10系统下安装TensorRT教程（手把手教程）
TensorRT安装部署指南（Windows10）
qq_43673118的博客
11-13 3709
时间：2023/11/01说明：本指南针对在装有NVIDIA显卡的Windows10系统的计算机上，安装TensorRT推理加速工具，将pytorch中导出的onnx模型转换为trt模型文件，并在python语言中进行模型推理。
Win10系统安装TensorRT
zyz博客
07-07 3014
Tips：理论指引实践TensorRT是一个高性能的深度学习推理（Inference）优化器，支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。TensorRT(1)-介绍-使用-安装祝一次安装成功。
TensorRT-LLM体验
最新发布
简单明了
06-23 1246
TensorRT-LLM体验
Win10安装TensorRT
贾路飞的博客
06-01 765
TensorRT是由Nvidia推出的C++语言开发的高性能神经网络推理库，是一个用于生成部署的优化器和运行时引擎。和cudnn类似，但它不支持训练，只支持模型推理。且比cudnn模型推理效率更高。
win10 安装TensorRT
zhaoluruoyan89的博客
11-12 1886
安装完成相应的库以后，需要注意将TensorRT-8.6.1.6文件夹下的lib\include中的文件进行如下拷贝工作，防止在运行tensorrt时候无法找到相对应的Nvinfer.dll。，选择和自己适配的TensorRT,我选择的是 TensorRT-8.6.1.6.Windows10.x86_64.cuda-11.8。注意：EA是提前发布的不稳定版本,GA是经过完备测试的稳定版。至此，windows安装TensorRT的过程就结束了。安装TensorRT文件夹中 即 的。
win10安装TensorRT（C++，Python）
热门推荐
clownwai的博客
03-17 1万+
文章目录前言一、先决条件二、TensorRT下载1.官网下载2.C++3.Python总结 前言 本偏文章主要用于记录Win10上TensorRT的安装过程。 C++软件：VS2019 python PS：conda环境安装python依赖包时注意激活环境。 一、先决条件 在安装TensorRT前，首先需要安装CUDA、CUDNN等NVIDIA的基本库。 CUDA： 11.3； cmd执行 nvcc -V cudnn：8.2.1 py-cuda （我用的11.5） pip install cuda-
Visual studio 2017+TensorRT8编译
wuzhihuaw的博客
10-16 452
visual studio2017+tensorRT8编译详解
win10_yolov5_tensorRT
03-30
1，安装环境 CUDA10.2 张量RT7.2 OpenCV3.4（工程中已指定，不需安装） vs2015下载相关工程： : 2，生成yolov5s.wts文件 在生成yolov5s.wts前，首先需要模型。同时，需要我们安装环境。这里可以参考网上其他文章或github教程进行配置安装，这里不详加说明。 将tensorrtx-master\yolov5文件夹下的gen_wts.py拷贝到ultralytics/yolov5文件夹下 在当前目录下执行： python gen_wts.py 最终我们会在当前目录下得到一个yolov5s.wts文件。 3，vs2015环境建设 这里我们使用别人已经编好的库，下载连接： 。（注意：部分头文件，lib文件已在我之后的工程中命名，有需要的同学可以直接下载） 创建vs工程，命名为yolov5_Trt，重新连接tensorrtx-master
win10_yolov5_tensorRT.rar
12-19
自己辛苦整理的原创yolov5+deepsort，纯C++实现。支持答疑，一直做有意义的事情； 多目标跟踪，用C++实现，部署到Nvidia上，tensorrt加速，最新的yolov5部署，支持s,m,l模型和int8,FP16等选择，而且拿来即用，自己再win10安装上驱动可以立即使用，不用在自己配置，支持答疑。自己辛苦整理的，求大佬打赏一顿饭钱。苦苦苦、平时比较比忙，自己后期会继续发布真实场景项目；欢迎下载。
windows10配置openvino
deep_love1314的博客
12-07 821
windows10配置openvino
TensorRT 8.2及以上版本的Scatter操作：ELEMENT与ScatterND模式详解
Scatter层在深度学习和高性能计算中扮演着重要...开发者可以根据具体需求选择适合的模式，并在构建深度学习模型时考虑如何配置TensorRT以优化性能。理解并利用这些功能对于提高AI应用程序的实时性和效率具有重要意义。
TensorRT (一） Win10 安装配置
TEDDY的博客
06-07 522
https://blog.youkuaiyun.com/qq_19707521/article/details/104986296
win10安装TensorRT
AI浩
09-18 3118
2.1 下载TensorRT 版本使用TensorRT 7.2.3 for Windows，CUDA版本是11.0， 下载地址：NVIDIA TensorRT 7.x Download | NVIDIA Developer 文件大小约500M， 2.2 配置环境变量 将下载好的文件赋值到C盘根目录，然后将“C:\TensorRT-7.2.3.4\lib”添加环境变量。如下图： 2.3 安装必要的whl文件 在shell里面安装下面三个whl文件。执行命令： pip install nvidia-pyin
win10正确配置tensorRT环境
m0_37591905的博客
11-16 681
安装tensorRT的过程需要对各种组件的版本进行匹配。使用tensorRT进行网络模型部署，加快推理速度。4、tensorflow或pytorch。中所有lib文件 copy 到。中所有dll文件copy 到。中头文件 copy 到。
linux中安装tensorrt
01-07
### 如何在Linux系统上安装NVIDIA TensorRT #### 准备工作 确保环境中已经配置好支持CUDA的NVIDIA GPU，并确认驱动程序正常运行。可以通过`nvidia-smi`命令验证GPU及其驱动是否被正确识别[^2]。 ```bash nvidia-smi ``` 此命令应返回关于当前系统内NVIDIA GPU的状态信息，而不是错误消息。 #### 下载TensorRT 前往[NVIDIA官方下载页面](https://developer.nvidia.com/nvidia-tensorrt-8x-download)[^3]获取适用于Linux系统的TensorRT包。根据具体的硬件架构（如x86_64或aarch64）和个人偏好选择合适的版本进行下载。 #### 安装依赖项 在正式安装之前，可能还需要额外安装一些必要的软件库来满足TensorRT的要求： ```bash sudo apt-get update && sudo apt-get install -y \ libcurl4-openssl-dev \ libnuma1 \ python3-pip ``` 对于Python开发人员而言，建议创建一个新的虚拟环境用于隔离项目依赖关系： ```bash python3 -m venv tensorrt_env source tensorrt_env/bin/activate pip install numpy ``` #### 解压并设置路径变量 假设已下载了`.tar.gz`格式的压缩文件，则可以按照如下方式解压它并将相应的目录加入到PATH环境变量中以便后续调用工具链中的组件： ```bash tar zxvf NVIDIA-TensorRT*.tar.gz cd NVIDIA-TensorRT* export PATH=$PWD:$PATH export LD_LIBRARY_PATH=$PWD/lib:$LD_LIBRARY_PATH ``` 此时应该能够看到类似这样的输出结构： ``` . ├── bin/ │ └── trtexec (推理性能测试工具) ├── include/ └── lib/ ``` 为了使这些更改永久生效，可考虑将其添加至用户的shell初始化脚本(`~/.bashrc`)里去。 #### 验证安装成果 最后一步是通过执行简单的样例程序来检验整个过程是否顺利完成。可以从源码树下的`samples`子目录找到多个示例应用；其中最基础的是mnist分类器，其构建方法如下所示： ```bash make -C samples/sample_mnist ./samples/sample_mnist ``` 如果一切顺利的话，上述指令将会打印出MNIST手写数字数据集上的预测结果，这标志着TensorRT已经在Linux平台上成功部署完毕。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小花猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值