【教程】Install NVIDIA TensorRT on WSL 在WSL上安装英伟达TensorRT

已于 2024-06-24 10:42:01 修改
阅读量1.5k 收藏 19
点赞数 36
文章标签： ubuntu linux 运维
于 2024-06-21 15:06:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Observer_0987/article/details/139860758
版权

【教程】Install NVIDIA TensorRT on WSL 在WSL上安装英伟达TensorRT

NVIDIA® TensorRT™ 是一个用于高性能深度学习推理的 API 生态系统。TensorRT 包括推理运行时和模型优化，可为生产应用提供低延迟和高吞吐量。TensorRT 生态系统包括 TensorRT、TensorRT-LLM、TensorRT Model Optimizer 和 TensorRT Cloud。

本教程参照NVIDIA官网TensorRT安装教程展示如何在安装有WSL2 Ubuntu-22.04的windows11系统上安装英伟达TensorRT

I. 环境

  • 具有NVIDIA GPU
  • windows已安装NVIDIA driver
  • 系统为windows11 安装了 WSL2 Ubuntu 22.04
  • 理论上来说，如果windows上具有NVIDIA driver，wsl不需要再安装
  • 通过nvidia-smi查看系统cuda版本，此处为12.4

nvidia-smi

II. 流程

本教程参照NVIDIA官网TensorRT安装教程编写

  • 安装CUDA
  • 安装cuDNN
  • 安装TensorRT

III. CUDA安装

在NVIDIA官网TensorRT安装教程里选择与通过nvidia-smi中显示的一致的CUDA版本，本教程采用CUDA 12.4

001
本教程采用12.4.1版本

最低0.47元/天 解锁文章
admin-init
关注
Nvidia 系列 之使用 Docker、WSL2 和 NVIDIA GPU 在 Windows 上设置 LocalAI
iCloudEnd的博客
07-26 805
我最近遇到了LocalAI，这是一个开源平台，用于在本地尝试和运行不同的大型语言模型 (LLM) 和其他 AI 模型，例如文本转语音或图像生成。LocalAI 旨在替代 OpenAI 产品，让您可以在自己的硬件上部署和使用 AI 模型，从而确保隐私并潜在地节省云成本。但是，运行 CPU 版本——即使在我相当新的 i7 处理器上——也非常慢。幸运的是，我现在的笔记本电脑配备了功能强大的 NVIDIA RTX 4070，所以我寻找一种方法来充分利用 LocalAI 的强大功能。
在 WSL 2 中启用 NVIDIA CUDA
DL路人甲的博客
06-22 1万+
在微软最新发布的 Windows Insider 预览版本中，WSL2 获得了 GPU 计算支持。这意味着 Linux 二进制文件可以利用 GPU 资源，在 WSL 中进行机器学习、AI 开发或是数据科学等工作。微软在今年五月份的 Build 2020 大会上宣布了 WSL 对 GPU 计算的支持，对这项功能的需求在社区中一直拥有很高的呼声。目前，需要在WSL中启用GPU支持需要加入Windows 预览版 SDK，以下为具体步骤。 从该处成为Win预览体验成员。或是在win10系统设置-更新和安全-W.
Win11基于WSL2安装CUDA、cuDNN和TensorRT（2023-03-01）
Apple_Coco的博客
03-02 7374
之前我写了一篇博客：[Win11安装WSL2和Nvidia驱动](https://blog.youkuaiyun.com/Apple_Coco/article/details/128374634)，记录了在WSL2里安装CUDA，当时我选择了第二种安装方式，即用WSL2里的MiniConda去安装的PyTorch和CUDA等相关库，最近在使用中发现了这种方式的不足
WSL 安装 NVIDIA显卡驱动
小白的博客
10-08 2456
最近在研究一些 AIGC 工具,由于 Windows 加入了 WSL 之后的各种特性,本文记录一下如何在 WSL 的 Linux发行版 中安装 NVIDIA 显卡驱动的步骤,本文以 WSL 下的 Ubuntu 22.04 发行版为例;
安装 TensorRT
weixin_41046245的博客
12-20 4490
此外，如果您已经安装了 TensorRT C++ 库，请使用 Python 包索引版本将安装此库的冗余副本，该库 可能不可取。上面的命令将拉入所有必需的 CUDA 来自 PyPI 的 Python wheel 格式的库和 cuDNN，因为它们是 TensorRT Python wheel 的依赖关系。此外，如果您有以前的 已安装的版本。如果前面的 Python 命令有效，那么您现在应该能够运行 任何 TensorRT Python 示例，以进一步确认您的 TensorRT 安装正在工作。
win11+wsl2+ubuntu18配置TensorRT
Dashi_Lu的博客
06-05 2064
windows11上wsl2+TensorRT环境搭建
Windows WSL子系统Ubuntu22.04安装Nvidia显卡驱动
热门推荐
Linux I Tell U
06-20 2万+
最近在研究AI，如果在Linux系统中部署的话需要重装系统，有些麻烦，又不想折腾。所以闲置很久没研究的WSL又拿起来研究了，当然部署ai还需要显卡驱动的支持，就必须先安装显卡驱动。还没有安装过WSL的童鞋可以看我之前发布的这篇文章。
wsl-ubuntu配置cuda-tensorrt开发环境
dong_junjun的博客
03-17 1001
WSL ubuntu20配置CUDA-CUDNN-TensorRT 官方安装cuda wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https:
WSL2 NVIDIA Docker 安装教程
aaada123的博客
10-06 2421
wsl docker nvidia gpu 环境搭建
wsl2 ubuntu子系统安装显卡驱动与cuda
m0_61069946的博客
03-25 7137
执行nvidia-smi命令查看英伟达显卡信息，如果没有安装驱动会提示安装，开始安装默认源里面的最新版。安装ubuntu 命令：wsl --install -d Ubuntu-22.04。再次执行nvidia-smi 命令看是否能看到显卡信息，如何能看到则安装成功。安装命令：apt install nvidia-utils-535。列出可安装的子系统 命令：wsl --list --online。执行nvcc -V 能看到版本信息说明安装成功。选好后下面会提供安装方法一条一条执行即可。
【TensorRT】NVIDIA TensorRT 安装 (Windows C++)
grape_yan的博客
10-14 5872
NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK，可为深度学习推理应用提供低延迟和高吞吐量。基于 NVIDIA TensorRT 的应用程序在推理过程中的执行速度比仅使用 CPU 的平台快 36 倍，使开发人员能够优化在所有主要框架上训练的神经网络模型，以高精度校准以降低精度，并部署到超大规模数据中心、嵌入式平台或汽车产品平台。
win11 WSL ubuntu安装CUDA、CUDNN、TensorRT最有效的方式
qq_40102732的博客
12-24 1万+
WSL ubuntu安装CUDA、CUDNN、TensorRT最有效的安装，避坑指南，亲测可行
【记录】在WSL2上安装cuDNN和TensorRT
weixin_45628358的博客
04-28 523
[记录]在WSL2安装cuDNN和TensorRT
win11 WSL2 Linux yolov8 tensorrt模型部署
xiangxiang2017的博客
04-16 866
电脑是win11,上面有张3060显卡，想使用它做深度学习方面的事，一般开发都是在linux上，不想把电脑装成linux系统，vmware中的虚拟机又不能使用GPU，经过一番搜索发现有一种叫WSL的技术可以解决我的问题，简单来说WSL是windows上的一种虚拟化技术，它可以让你在windows中运行linux系统，就像vmware那样，重点是它可以使用GPU。
【TensorRT】TensorRT环境安装
浩瀚之水的专栏
10-11 4436
本文操作均在Win10系统上完成，需要用到的软件与依赖包有：cuda 10.2 , cudnn 8.6.5 , VS2017 , OpenCV 4.0.0 , Anaconda3 , CMake 3.10.1 , TensorRT 8，pytorch通过英伟达官网来确认显卡驱动与CUDA版本对应关系，，基本上所有的版本cuda都能支持通过pytorch官网来确认也可以通过pytorch官网查询选择cudnn版本时要优先考虑tensorrt版本。
tensorrt的安装和使用
zhuikefeng的博客
09-21 3323
提前安装好和，登录 NVIDIA 官方网站下载和主机 CUDA 版本适配的 TensorRT 压缩包即可。以 CUDA 版本是 10.2 为例，选择适配 CUDA 10.2 的。
1.Windows11下安装WSL2子系统、Nvidia驱动、CUDA Toolkit（2024-07）
07-04 3657
本文主要介绍在Windows11上如何安装Ubuntu子系统，以及安装Nvidia驱动和CUDA Toolkit，为运行开源大模型做准备。
win10 wsl2 cuda opencv tensorrt安装与clion pycharm环境配置(一)
weixin_42479327的博客
02-21 868
自己电脑装的是windows系统，公司电脑也是win系统，可是平时的模型训和部署却是在linux服务器上进行。使用pycharm和vscode,clion可以连接远程解释器开发，又会涉及时更新延迟等问题。能否在不装linux系统情况下, 也能使用linux环境做研发呢?因为要使用gpu，所以不能使用vmvare虚拟机，因为不能显卡透传。这里我使用WSL2技术,在win10环境下搭建linux开发环境wsl2最低版本要求是 Windows 10 version 1903 及更高。
win10 wsl2 cuda opencv tensorrt安装与clion pycharm环境配置(二)
weixin_42479327的博客
02-21 604
tensorRT的安装简单,实际上就是指定下搜寻路径从官网找到适合自己的版本. 这里我使用8.5.1版本添加环境变量最后验证tensorRT安装是否正确出现才算安装成功. 第一次装的TensorRT-8.4.1.5版本,显示FAILED, 在加速代码中能运行,但怎样也得不出正确结果.大概率是cuda-11.6与TensorRT-8.4.1.5不兼容.TensorRT的使用有很多坑,参考我的另一篇使用踩坑记录。
win10 安装ubuntu后安装英伟达container
最新发布
03-31
### 配置 NVIDIA 容器工具包指南 要在 Win10 上通过双启动 Ubuntu 来安装并配置 NVIDIA 容器工具包，以下是详细的说明： #### 一、环境准备 确保主机已满足以下条件： - 已安装 Windows 10 并启用 WSL2 功能[^1]。 - 双引导模式下成功安装了 Ubuntu 系统版本（建议使用 LTS 版本）。 - 主机硬件支持 CUDA 的 NVIDIA 显卡驱动程序已经正确安装。 #### 二、更新系统软件源 在终端运行以下命令来更新系统的软件包列表以及升级现有软件包： ```bash sudo apt update && sudo apt upgrade -y ``` #### 三、安装必要的依赖项 为了使 NVIDIA 容器工具包正常工作，需先安装一些基础组件： ```bash sudo apt install curl gnupg lsb-release -y ``` #### 四、设置官方 NVIDIA GPG 密钥和存储库地址 执行下面的脚本来导入密钥并添加仓库路径到 APT 中： ```bash curl https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sed 's#deb http://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list > /dev/null ``` #### 五、安装 NVIDIA 容器工具包及其相关组件 完成上述操作后可以继续安装所需的工具集： ```bash sudo apt update sudo apt install nvidia-docker2 docker-ce docker-ce-cli containerd.io -y ``` #### 六、验证 Docker 和 GPU 支持状态 重启 Docker 服务以应用更改，并测试是否能够识别 GPU 设备： ```bash sudo systemctl restart docker docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi ``` 如果一切顺利，则会显示当前显卡的信息表单。 #### 七、解决可能遇到的问题 对于某些特定场景下的初始化样本槽位失败情况可尝试调整参数设定如下所示[^2]: ```bash ctconf -c10 ctconf -fc ctkmu t -s5 -lroot ``` 以上步骤涵盖了从准备工作直至最终确认功能完整的整个流程描述。希望这能帮助您顺利完成配置过程！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值