【保姆级喂饭教程】【抽丝剥茧知识讲解】2025年 Windows10 安装 CUDA Toolkit 和 cuDNN,PyTorch 安装 CUDA Runtime 和 cuDNN

图文并茂讲解CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性 系统讲解CUDA、CUDA toolkit、CUDA Driver、CUDA runtime、CUDNN、NVCC、Pytorch安装CUDA之间关系和版本兼容性 阅读详情
AI摘要

-1

前言1

在深度学习与高性能计算领域,GPU 早已成为加速训练与推理的“第二颗 CPU”。但想让 GPU 真正发挥作用,离不开一套与之配套的软件栈——CUDA。本教程将以“零基础、可复制”为目标,从硬件检测到环境变量,一步一步带你完成 CUDA Toolkit 与 cuDNN 的完整安装与验证。


前言2

安装之前弄清楚自己是否需要安装cuda和cudnn…切记
本文出发点是使用pytorch运行后发现无法使用cuda加速模型计算,print(torch.cuda.is_available())输出为false
如果是用pytorch运行、微调、编写大模型,是不需要再安装CUDA Toolkit 的 cuDNN,详见第五章


一、CUDA、cuDNN介绍

1. 什么是 CUDA

CUDA全称统一计算设备架构(Compute Unified Device Architecture, CUDA),是 NVIDIA 于 2007 年推出的并行计算平台与编程模型。它把 GPU 的成百上千个计算核心抽象成通用计算单元,使开发者可以用 C/C++、Fortran、Python(通过 PyTorch/TensorFlow 等)直接调度 GPU 执行矩阵乘法、卷积、FFT 等大规模并行任务。
简单点说就是,CUDA提供了一套并发编程工具包,开发者通过CUDA提供的API可以方便地操控GPU进行并行计算,提升运算速度。

核心组成:

  • CUDA Toolkit:含编译器(nvcc)、运行时库(libcudart)、数学库(cuBLAS、cuFFT、cuSPARSE 等)与调试/分析工具(Nsight、cuDNN)。

  • CUDA Driver:内核级驱动,负责与显卡对话;驱动版本必须 ≥ Toolkit 版本所需最小驱动版本。

官方文档-CUDA 兼容性开发者指南
在这里插入图片描述
在这里插入图片描述

提供的API:

  • Runtime API:由CUDA Toolkit installer安装,对应文件为libcudart.so(Linux)以及nvcc

  • CUDA Driver API:由NVIDIA 显卡驱动安装的时候一起安装,对应文件为libcuda.so (Linux) / nvcuda.dll (Windows),安装后提供nvidia-smi.exe来管理和监控NVIDIA GPU设备。

    • 实际文件位置:

    • Linux:/usr/lib/x86_64-linux-gnu/libcuda.so.*

    • Windows:C:\Windows\System32\nvcuda.dll

  • 二者版本需兼容。

一句话记忆:CUDA Toolkit 是“指挥中心”,CUDA Driver 是“对讲机”,GPU 是“工人”。


2. 什么是 cuDNN

cuDNN的全称为NVIDIA CUDA® Deep Neural Network library,是NVIDIA专门针对深度神经网络中的基础操作而设计基于GPU的加速库,面向卷积神经网络、RNN、Transformer 等常见算子做了极致优化。

  • 提供算子:卷积前向/反向、池化Pooling、归一化、RNN 单元、Softmax、矩阵乘(GEMM)等。

  • 与框架关系:PyTorch/TensorFlow 在 GPU 上运行模型时,会动态加载 cuDNN 的动态库(libcudnn.so / cudnn64_*.dll);版本不匹配会导致 “CUDNN_STATUS_NOT_SUPPORTED” 等报错。

  • 安装形式:一个压缩包,解压后把 bin、lib、include 里的文件复制到 CUDA Toolkit 对应目录即可,体积约 500 MB。9.0.0以后新增了图形化安装。


3. 总结

一句话总结:

  • CUDA 让你“能”用 GPU,cuDNN 让你“快”用 GPU。两者版本必须对齐,且与显卡驱动保持兼容。

4. 相关名词

请添加图片描述

【AI总结】别再傻傻分不清!显卡、驱动、CUDA、cuDNN、nvcc、nvidia-smi、cuda toolkit、cuda driver…一张图带你全部搞懂
显卡,显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn区别?


二、确定版本

由于GPU是硬件,硬件不会更新,所以安装软件工具必须查看硬件信息。
不像开发项目,版本源头取决于使用的语言,比如Java8、python3.13。

1. 教程环境版本

设备:神舟战神笔记本
系统:Windows 10 企业版 22H2
显卡:NVIDIA RTX3060 6G
NVIDIA Control Panel:8.1.968.0

2. 查看显卡驱动支持的最高 CUDA 版本

2.1 cmd命令 nvidia-smi

打开cmd,输入nvidia-smi命令回车
Driver Version是当前显卡驱动版本,同时也是CUDA驱动版本
CUDA Version是可支持的最高CUDA Runtime版本,对应是CUDA Toolkit的版本,并不代表你装了 Toolkit 哦
我这里最高支持的CUDA Toolkit版本是11.4,没有特殊要求,一般用最新的就好
后续打算升级一下驱动,以支持更高的CUDA Toolkit版本
在这里插入图片描述

2.2 NVIDIA 控制面板

也可以通过NVIDIA 控制面板查看CUDA支持版本,不如上面的命令方便,这里只做了解

左下角点击搜索图标或搜索框,搜索nvidia,点击NVIDIA Control Panel
在这里插入图片描述

这一步可能出错:
在这里插入图片描述
解决参考:
【沉浸式解决问题】NVIDIA 显示设置不可用。 您当前未使用连接到NVIDIA GPU 的显示器。

在这里插入图片描述

3. CUDA Toolkit和驱动 版本关系

例如我的驱动版本为471.41,对应CUDA版本为11.4
当我安装CUDA 12.1 时,会报错驱动版本不够
当我安装CUDA 11、10、9等,是可以向下兼容的
当我升级显卡驱动后,不会出错,同时可以安装更高的CUDA版本了
CUDA 工具包和最低驱动版本
在这里插入图片描述

CUDA 工具包和 CUDA 次要版本兼容性所需的最小驱动程序版本
在这里插入图片描述
CUDA Toolkit 和对应驱动版本

CUDA ToolkitToolkit Driver Version
Linux x86_64 Driver VersionWindows x86_64 Driver Version
CUDA 13.0 GA>=580.65.06N/A
CUDA 12.9 Update 1>=575.57.08>=576.57
CUDA 12.9 GA>=575.51.03>=576.02
CUDA 12.8 Update 1>=570.124.06>=572.61
CUDA 12.8 GA>=570.26>=570.65
CUDA 12.6 Update 3>=560.35.05>=561.17
CUDA 12.6 Update 2>=560.35.03>=560.94
CUDA 12.6 Update 1>=560.35.03>=560.94
CUDA 12.6 GA>=560.28.03>=560.76
CUDA 12.5 Update 1>=555.42.06>=555.85
CUDA 12.5 GA>=555.42.02>=555.85
CUDA 12.4 Update 1>=550.54.15>=551.78
CUDA 12.4 GA>=550.54.14>=551.61
CUDA 12.3 Update 1>=545.23.08>=546.12
CUDA 12.3 GA>=545.23.06>=545.84
CUDA 12.2 Update 2>=535.104.05>=537.13
CUDA 12.2 Update 1>=535.86.09>=536.67
CUDA 12.2 GA>=535.54.03>=536.25
CUDA 12.1 Update 1>=530.30.02>=531.14
CUDA 12.1 GA>=530.30.02>=531.14
CUDA 12.0 Update 1>=525.85.12>=528.33
CUDA 12.0 GA>=525.60.13>=527.41
CUDA 11.8 GA>=520.61.05>=520.06
CUDA 11.7 Update 1>=515.48.07>=516.31
CUDA 11.7 GA>=515.43.04>=516.01
CUDA 11.6 Update 2>=510.47.03>=511.65
CUDA 11.6 Update 1>=510.47.03>=511.65
CUDA 11.6 GA>=510.39.01>=511.23
CUDA 11.5 Update 2>=495.29.05>=496.13
CUDA 11.5 Update 1>=495.29.05>=496.13
CUDA 11.5 GA>=495.29.05>=496.04
CUDA 11.4 Update 4>=470.82.01>=472.50
CUDA 11.4 Update 3>=470.82.01>=472.50
CUDA 11.4 Update 2>=470.57.02>=471.41
CUDA 11.4 Update 1>=470.57.02>=471.41
CUDA 11.4.0 GA>=470.42.01>=471.11
CUDA 11.3.1 Update 1>=465.19.01>=465.89
CUDA 11.3.0 GA>=465.19.01>=465.89
CUDA 11.2.2 Update 2>=460.32.03>=461.33
CUDA 11.2.1 Update 1>=460.32.03>=461.09
CUDA 11.2.0 GA>=460.27.03>=460.82
CUDA 11.1.1 Update 1>=455.32>=456.81
CUDA 11.1 GA>=455.23>=456.38
CUDA 11.0.3 Update 1>= 450.51.06>= 451.82
CUDA 11.0.2 GA>= 450.51.05>= 451.48
CUDA 11.0.1 RC>= 450.36.06>= 451.22
CUDA 10.2.89>= 440.33>= 441.22
CUDA 10.1 (10.1.105 general release, and updates)>= 418.39>= 418.96
CUDA 10.0.130>= 410.48>= 411.31
CUDA 9.2 (9.2.148 Update 1)>= 396.37>= 398.26
CUDA 9.2 (9.2.88)>= 396.26>= 397.44
CUDA 9.1 (9.1.85)>= 390.46>= 391.29
CUDA 9.0 (9.0.76)>= 384.81>= 385.54
CUDA 8.0 (8.0.61 GA2)>= 375.26>= 376.51
CUDA 8.0 (8.0.44)>= 367.48>= 369.30
CUDA 7.5 (7.5.16)>= 352.31>= 353.66
CUDA 7.0 (7.0.28)>= 346.46>= 347.62

三、CUDA下载及安装

1. 下载

打开cuda-toolkit官网,点击Download Now下载按钮
https://developer.nvidia.com/cuda-toolkit
在这里插入图片描述
目前最新的版本是13.0,一般来说我们的驱动更新不及时,支持的最高版本肯定比这个低,点击底部右侧的Archive of Previous CUDA Releases打开历史版本页面
在这里插入图片描述
找到支持的最高版本的第三位小版本号最高的
直达链接:https://developer.nvidia.com/cuda-toolkit-archive
在这里插入图片描述
按照自己的系统情况依次选择:操作系统-架构-版本-安装类型,local表示本地安装,network表示网络安装,正常就选择本地安装
下面会加载下载按钮,点击下载
在这里插入图片描述
在这里插入图片描述

2. 安装

双击下载好的cuda_11.4.4_472.50_windows.exe,首先是设置临时目录,可能是安装的过程中解压一些内容,安装完成后会自动删除
我比较好奇会生成什么,所以自定义一下
在这里插入图片描述
更改后点击ok
注意:临时解压目录千万不要和cuda的安装路径设置成一样的,否则安装结束,会找不到安装目录的!!!
在这里插入图片描述
好吧,这个exe其实是个压缩包,它是先完成解压,再自动执行安装exe,
下载的exe大小2.78G,解压后5.7G,大约翻一倍,所以是否修改临时目录主要取决于你的c盘空间是否充足
在这里插入图片描述
部分文件示例
在这里插入图片描述
解压后自动打开安装程序,点击同意并继续
在这里插入图片描述
选择自定义安装,点击下一步。
精简安装不能选择安装组件和安装位置
在这里插入图片描述
如果你是第一次安装,尽量全选
如果你是第n次安装,尽量只选择第一个
在这里插入图片描述
根据c盘空间选择是否修改安装位置

  • CUDA Documentation:cuda文档

  • Samples:cuda示例

  • CUDA Development:cuda toolkit

在这里插入图片描述
我习惯把所有应用都安装在D盘,可以参考下我的修改目录,点击下一步
在这里插入图片描述
这里因为我电脑上没有安装Visual Studio,会弹出一个提示,没什么影响
原因是CUDA Toolkit 里带了一个Visual Studio Integration组件,作用是:

  • 把 nvcc 编译器挂到 VS 的工具链里;
  • 在 VS 模板里出现 CUDA Project 向导;
  • 让 VS 能正确识别 .cu 文件并高亮、调试。
    我之后是打算用pycharm,使用的也是pytorch库,所以勾选I understand忽略就行(也可以在上上步的组件选择中CUDA下取消这一项),点击next
    在这里插入图片描述
    安装中
    在这里插入图片描述
    在这里插入图片描述
    大概两三分钟,关于Visual Studio的都安装失败了,不用管,下一步
    在这里插入图片描述
    可以看到安装的组件第一项就是nvcc编译器,点击关闭,会自动把刚刚解压的内容所在文件夹整个删掉
    在这里插入图片描述
    上面忘记取消勾选启动 NVIDIA GeForce Experience了,自动打开了,关闭就行
    在这里插入图片描述

3. 验证

重新打开cmd,输入nvcc -V或者nvcc --version
在这里插入图片描述

打开环境变量-系统变量,CUDA一共设置了四个

  • CUDA_PATH:CUDA根目录

  • CUDA_PATH_V11_4:CUDA版本目录,一看就是用于多版本安装和切换

  • NVCUDASAMPLES_ROOT:示例根目录

  • NVCUDASAMPLES11_4_ROOT:示例版本目录

在这里插入图片描述
在这里插入图片描述
还添加了两个路径环境变量
在这里插入图片描述


四、cuDNN下载及安装

1. 下载

1.1 安装程序可执行文件下载

打开cudnn官网,点击Download cuDNN Library按钮下载
https://developer.nvidia.com/cudnn
在这里插入图片描述
目前最新版是9.12.0,点击底部右侧的Archive of Previous CUDA Releases打开历史版本页面
https://developer.nvidia.com/cudnn-downloads
在这里插入图片描述
如下图,分为两部分,上面是从9.0.0版本开始的详细列表,下载时不再区分对应CUDA Toolkit版本,同时英伟达策略调整,下载不再需要注册
点击cuDNN 8.x - 1.x查看下以前的版本
https://developer.nvidia.com/cudnn-archive
在这里插入图片描述
8.x之前同一cuDNN对应不同的CUDA Toolkit是单独下载的,也可以看出cuDNN每个版本同时支持最近的两个CUDA Toolkit的大版本
我的CUDA Toolkit是11.4,点开支持的最高版本 cuDNN v8.9.7
https://developer.nvidia.com/rdp/cudnn-archive
在这里插入图片描述
分为两大块,一块是windows和debian系Linux,一块是Redhat系Linux,选择自己的系统就好,我们是Windows,选择第一个
在这里插入图片描述
以前的版本仍然维持需要注册,这里就不示例了
cuDNN 9.0.0支持CUDA11.x和12.x,所以如果你的显卡驱动最高支持的CUDA Toolkit版本是10.x或者之前,只能通过注册下载,或者升级驱动
在这里插入图片描述

1.2 压缩文件下载

这里下载也不需要登录,不过只有cuda 10.x以后的
https://developer.download.nvidia.cn/compute/cudnn/redist/cudnn/windows-x86_64/
在这里插入图片描述

1.3 cuDNN 和 CUDA Toolkit 版本关系

因为cuDNN 9.x以后对应CUDA Toolkit版本关系不在一起,我来连带着之前的版本总结一下

首先是这里提到了9.11.0版本以后不再支持CUDA Toolkit 11.x和Ubuntu 20.04
https://docs.nvidia.com/deeplearning/cudnn/backend/latest/release-notes.html#cudnn-9-11-0
在这里插入图片描述
这个页面可以查看每个版本支持的 NVIDIA 硬件和CUDA 版本,左下角可以切换cuDNN版本,看下9.0.0
https://docs.nvidia.com/deeplearning/cudnn/backend/latest/reference/support-matrix.html#support-matrix
在这里插入图片描述
支持CUDA
在这里插入图片描述
cuDNN 和 CUDA Toolkit 版本关系汇总:

cuDNNCUDA Toolkit
9.12.012.x,13.0
9.11.0-9.11.112.x
9.0.0-9.10.211.x,12.x
8.8.0-8.9.711.x,12.x
8.0.1-8.7.010.x,11.x
7.3.0-7.6.59.x,10.x
7.2.19.2
7.0.4-7.1.48.x,9.x
5-6.07.5,8.0
3,47
26.5
16.5

最新版本对应推荐
CUDA Toolkit 11.x + cuDNN 9.10.2
CUDA Toolkit 12.x + cuDNN 9.12.0

1.4 cuDNN 9.x下载

回到刚刚的历史版本页面,点击支持CUDA Toolkit 11.x的最新的cuDNN 9.10.2
在这里插入图片描述
按照自己的系统情况依次选择:操作系统-架构-版本-安装类型,local表示本地安装,点击Download按钮下载
在这里插入图片描述
在这里插入图片描述

2. 安装

cuDNN的库是一些静态文件,以前的教程都是移动到cuda toolkit的目录中,9.x以后的新版本好像都单独放置了
官方文档-为 Windows 软件安装 cuDNN 后端

2.1 图形化安装

双击下载好的cudnn_9.10.2_windows.exe,首先也是设置临时目录,
我的c盘空间较小,修改目录解压到d盘,空间足够的不用管,删除的很干净
点击ok
在这里插入图片描述
解压前700M,解压后1.52GB,同样是翻一倍
在这里插入图片描述
点击同意并继续
在这里插入图片描述
点击自定义选框,点击下一步
在这里插入图片描述
把对应CUDA 12.9的组件框选去掉,留下的是对应CUDA 11.8,我的CUDA Toolkit 是11.4,应该是向下兼容的吧。(如果不行就去历史版本下载v8.2.4)
在这里插入图片描述
修改安装目录,点击下一步,我的是

D:\Program\Work\NVIDIA\CUDNN\v9.10

在这里插入图片描述
安装很快,点击关闭
在这里插入图片描述
安装后目录
在这里插入图片描述
D:\Program\Work\NVIDIA\CUDNN\v9.10\bin\11.8
在这里插入图片描述
D:\Program\Work\NVIDIA\CUDNN\v9.10\include\11.8
在这里插入图片描述
D:\Program\Work\NVIDIA\CUDNN\v9.10\lib\11.8\x64
在这里插入图片描述
核心的三个目录bin、include、lib,文件比之前的多很多

2.2 压缩包安装

对应1.2 压缩文件下载方法,没有测试,翻译一下官方好了
在这里插入图片描述

3. 测试

由于都是静态文件,图形化安装未设置任何环境变量,但是压缩包安装的教程中是需要添加bin目录到path环境变量中的,暂不知有没有影响

由于我也没有visual studio,也没办法进行项目测试了,其他教程提到的D:\Program\Work\NVIDIA\CUDA\v11.4\extras\demo_suite中的bandwidthTest.exe和deviceQuery.exe均与cuDNN无关,测试不出来

后续发现我并不需要CUDA Toolkit 和 cuDNN ,以后有机会再测试吧


五、PyTorch 安装 CUDA Runtime 和 cuDNN

在安装完CUDA Toolkit 和 cuDNN 后发现print(torch.cuda.is_available())还是false,才发现现在PyTorch 的 wheel 自带CUDA Runtime + cuDNN了,它还不能用你本地安装的…
被最开始的一个教程和ai误导了><
所以安装CUDA Toolkit 和 cuDNN前一定要确定自己的需求,已经加到前言2了

1. PyTorch 与 CUDA 历史

2018 年以前(PyTorch ≤ 0.4 时代)必须自己先装 CUDA Toolkit + cuDNN;
从 PyTorch 1.0(2018 年底)开始,官方提供了“自带 CUDA/cuDNN”的预编译 wheel,绝大多数用户再也不用手动装 Toolkit 了
。

历史时间线:

时期PyTorch 版本安装方式是否需要手动装 CUDA Toolkit / cuDNN备注
早期 2017 及之前≤ 0.4.x源码编译 或 conda/pip 裸包✅ 必须手动装没有官方 GPU wheel,只能用 conda install pytorch cuda80 -c pytorch 或自己 python setup.py install
过渡期 20180.4.1 → 1.0 RC出现 cuda90/cuda92 子包⚠️ 半自动需要把对应 CUDA runtime 解压到 conda 环境;cuDNN 仍需手动拷贝
现代 2019 至今≥ 1.0 正式版官方 wheel 如 +cu118、+cu121❌ 不再需要pip install torch --index-url https://download.pytorch.org/whl/cu118 一步到位,已含所需 runtime 和 cuDNN

直接使用CUDA的情况1:

  • 实现自定义层(custom layer):如果需要创建一个深度学习模型中的自定义层,该层的计算不是标准的深度学习操作,那么你可能需要直接使用CUDA编写这些自定义操作。

  • 为了提高计算效率,合并多个层:在某些情况下,你可能希望将多个标准层合并为一个更大的操作,以提高计算效率。这可能需要直接使用CUDA来执行这些合并操作。)

直接使用CUDA的情况2:

  • 要写/编译自定义 CUDA 算子

  • 使用需要nvcc编译器的第三方库

  • 自己从源码编译 PyTorch

  • 需要编译带 CUDA 扩展的第三方库

  • 开发CUDA扩展或插件

  • 使用某些高级GPU编程特性

  • 生产环境部署需要完整的CUDA环境

场景总结:

场景该装什么具体命令/动作备注
只想跑训练/推理(99 % 深度学习用户)PyTorch GPU wheel 即可pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118自带 CUDA Runtime + cuDNN,不再手动装 Toolkit/cuDNN
自己写 .cu 或给第三方库编译扩展安装 CUDA Toolkit + 对应驱动官网下载 cuda_12.x.x_win.exe需要 nvcc、头文件、静态/动态库
写 CUDA 扩展且用到深度学习算子CUDA Toolkit + cuDNNToolkit 装好后,把 cuDNN 拷贝到 CUDA_PATH 目录版本需匹配(9.x 覆盖 11/12,8.x 要分 11/12)

2. PyTorch cpu版

PyTorch分为cpu版和gpu版,正常通过pip或者uv安装就是cpu版,我以uv项目为例

uv add torch

测试代码

import torch
print(torch.__version__)            # PyTorch 版本
print(torch.cuda.is_available())    # True 表示 GPU 可用

后面的+cpu表示就是cpu版本
在这里插入图片描述

3. PyTorch gpu版

PyTorch 自带预编译的 CUDA 库(runtime),跟你机器上的 CUDA Toolkit 是独立的,PyTorch 并不依赖你系统上安装的 CUDA Toolkit 运行(除非你自己编译 PyTorch)。

首先卸载cpu版

uv remove torch

在这里插入图片描述
再安装gpu版,gpu版需要从指定的仓库地址下载,官方仓库格式为https://download.pytorch.org/whl/cuXXX,把XXX换成自己支持的最高CUDA版本的数字,例如我的是11.4,就是https://download.pytorch.org/whl/cu114
结果打不开
在这里插入图片描述找了一下原因,正好pytorch没有这一版,前后都有,只好使用次一版的11.3了
如下图,每一版里都提供了一整套工具
https://download.pytorch.org/whl/cu113
在这里插入图片描述

下面链接是torch的所有wheel仓库,有所有的版本,往下面找到cu开头的,可以看到113过去直接就是115了
https://download.pytorch.org/whl/torch_stable.html
在这里插入图片描述

有链接的CUDA版本:75,80,90,91,92,100,101,102,110,111,113,115,116,117,118,121
选择自己支持的最高版本的前一个版本即可

接下来开始安装

3.1 PyPI 源

  • 官方源
    这里的索引地址感觉应该也用-f
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu113

torchvision:计算机视觉库,提供数据集、预训练模型和图像处理工具。
torchaudio:音频处理库,支持语音识别、音频增强等任务。
不需要的不安装也可以

  • 清华源
pip3 install torch==2.4.1 torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

3.2 国内镜像

  • 阿里镜像
pip3 install torch==2.4.1 torchvision torchaudio -f https://mirrors.aliyun.com/pytorch-wheels/cu121/

这里使用了 -f 选项,表示指定一个包含包文件的页面,而不是使用 --index-url,因为这些镜像不提供完整的索引服务。
-i 指定主索引地址,等价于 --index-url。常用于替换默认的 PyPI 源
-f 用于指定额外的包搜索路径,等价于 --find-links。这个路径可以是本地目录或者是一个包含包链接的HTML页面。

  • 上海交通大学镜像
pip3 install torch==2.4.1 torchvision torchaudio -f https://mirror.sjtu.edu.cn/pytorch-wheels/cu113

3.3 uv项目

由于我是uv项目进行开发,上面的链接都没有实际测试,请结合自己的情况进行选择
【保姆级喂饭教程】【抽丝剥茧知识讲解】uv教程一文讲透:安装,创建,配置,工具,命令

  • project.toml

官方示例写法

[[tool.uv.index]]
name = "pytorch"
url = "https://download.pytorch.org/whl/cu113"
explicit = true

[tool.uv.sources]
torch = { index = "pytorch" }
torchvision = { index = "pytorch" }
torchaudio = { index = "pytorch" }

安装

uv add torch

报错了,根据平台只能匹配到torch==2.0.1,而 2.0.1 的 cu113 Windows wheel 只到 Python 3.10。我的项目python用到是3.11,所以找不到wheel包
在这里插入图片描述
询问ai找到解决方法,直接去cu118的链接里面下载11.8版本,虽然我的驱动最高支持CUDA为11.4,但是没事。那我就试一试

project.toml

[[tool.uv.index]]
name = "pytorch"
url = "https://download.pytorch.org/whl/cu118"
explicit = true

[tool.uv.sources]
torch = { index = "pytorch" }
torchvision = { index = "pytorch" }
torchaudio = { index = "pytorch" }

应该是成功了,torch包变成了2.6GiB,这也是为什么要区分cpu版和gpu版的原因,CUDA Runtime API和CuDNN太大了
在这里插入图片描述
安装完成
在这里插入图片描述
测试

import torch
print(torch.__version__)              # PyTorch 版本
print(torch.cuda.is_available())      # True 表示 GPU 可用
print(torch.version.cuda)           # 显示 PyTorch 内置的 CUDA 版本
print(torch.backends.cudnn.version()) # 显示 PyTorch 内置的 CUDNN 版本

显示cu118就说明是gpu版本了
在这里插入图片描述

  • uv.toml

按理说把设置放到uv.tom里面也生效,经测试无效,下载的还是cpu版本

[[index]]
name = "pytorch"
url = "https://download.pytorch.org/whl/cu118"
explicit = true

[sources]
torch = { index = "pytorch" }
torchvision = { index = "pytorch" }
torchaudio = { index = "pytorch" }

安装

uv add torch

六、问题

1. 为什么只安装ollama启动大模型可以使用gpu

答:Ollama 自带了 GPU 加速所需的 CUDA 运行时,调用自己的推理引擎(如 llama.cpp + CUDA 后端),它不需要你本地单独安装 CUDA Toolkit 或 PyTorch/TensorFlow。


参考文献

后记

后续相关教程计划:

  1. 【保姆级喂饭教程】英伟达显卡驱动升级教程
  2. 【保姆级喂饭教程】安装多版本cuda,多版本之间切换

喜欢的点个关注吧><!祝你永无bug~

/*
                   _ooOoo_
                  o8888888o
                  88" . "88
                  (| -_- |)
                  O\  =  /O
               ____/`---'\____
             .'  \\|     |//  `.
            /  \\|||  :  |||//  \
           /  _||||| -:- |||||-  \
           |   | \\\  -  /// |   |
           | \_|  ''\---/''  |   |
           \  .-\__  `-`  ___/-. /
         ___`. .'  /--.--\  `. . __
      ."" '<  `.___\_<|>_/___.'  >'"".
     | | :  `- \`.;`\ _ /`;.`/ - ` : | |
     \  \ `-.   \_ __\ /__ _/   .-` /  /
======`-.____`-.___\_____/___.-`____.-'======
                   `=---='
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
            佛祖保佑       永无BUG
*/
CUDA下载安装教程,新手详细 新手入门,详细安装教程 阅读详情

相关推荐

【Windows11】Cuda和Cudnn详细安装教程

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

Jin1Yang的博客 8万+

理清GPU、CUDA、CUDA Toolkit、cuDNN关系以及下载安装

GPU 显卡是我们平时说的GPU,现在大多数的电脑使用NVIDIA公司生产的显卡;常见的型号有Tesla V100,GTX950M,GTX1050TI,GTX1080等。 CUDA Driver 这个是我们常说的显卡驱动,NVIDIA的显卡驱动程序。 CUDA 是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构,是一种并行计算平台和编程模型,该架构使GPU能够解决复杂的计算问题。CUDA英文全称是Compute Unified Device Architecture。

旺仔馒头 9万+

5分钟搞定Nano-Banana图片编辑API对接:从Base64编码到生成图片全流程

本文详细介绍了如何快速对接Nano-Banana图片编辑API,基于gemini-2.5-flash-image-preview模型,从环境准备、Base64编码到API调用的全流程。通过实战示例和优化技巧,帮助开发者高效集成AI图片处理能力,提升产品竞争力。

dog123的博客 262

cuda安装教程+cudnn安装教程

cuda9.0+cudnn7.0安装教程   1、下载cuda9.0 下载链接:https://developer.nvidia.com/cuda-toolkit-archive   2、安装cuda 安装cuda时,第一次会让设置临时解压目录,第二次会让设置安装目录; 临时解压路径,建议默认即可,也可以自定义。安装结束后,临时解压文件夹会自动删除; 安装目录,建议默认...

sinat_23619409的博客 36万+

PostgreSQL数据库全攻略:从入门到精通

本文是一份PostgreSQL数据库综合指南,涵盖安装配置、基础操作和高级管理。主要内容包括:1) PostgreSQL简介与各平台安装方法;2) 数据库基本操作,如创建数据库/表、CRUD操作、用户权限管理;3) 高级功能包括索引优化、事务控制、视图、存储过程、触发器和扩展模块;4) 数据库管理维护,涉及配置调优、备份恢复、性能监控和日常维护;5) 安全设置与高可用方案。指南提供了从入门到进阶的实用知识,强调结合官方文档进行深入学习,帮助用户高效使用这一功能强大的开源关系型数据库系统。

索大神的博客 1973

如何利用Arcgis进行地统计学分析(三):空间插值方法选择与优化

本文深入探讨了在Arcgis中进行地统计学分析时,如何根据探索性数据分析(EDA)结果科学选择与优化空间插值方法。文章对比了IDW、RBF、克里金等主流方法的适用场景与核心参数,并通过实战案例详解了从数据诊断到模型调优的完整流程,强调结合半变异函数与趋势分析进行“对症下药”,以提升插值结果的精度与可靠性。

weixin_29281915的博客 122

Nvidia显卡对应驱动,cuda toolkit 和 cuDNN 之间的版本关系

不管是开发c,cpp, 还是golang ,java ,python ,当我们需要做一件事情的时候,通常我们都是看看有没有这方面的库,有的话直接拿来用,而不是自己重写一个,造个轮子,那样太费时费力了。那么这个工具集就给你提供了很多的工具,和库,让你来方便操作,不用自己去搞。那么这个 cuda toolkit 一样,给你提供了很多cuda 相关的 工具集合,让你方便的使用gpu 的能力。从这个表我们也能知道,cuda 驱动是向下兼容的,如果你的驱动版本高,是兼容更低版本的 cuda toolkit 版本的。

Shawn.Xiao的博客 1万+

优化YOLOv8检测精度:Damo-YOLO的RepGFPN特征融合技术解析【YOLOv8】

YOLOv8在结构上依旧延续了自YOLOv4以来的CSPNet(Cross Stage Partial Network)和FPN(Feature Pyramid Network)的设计,结合了PANet(Path Aggregation Network)来增强特征的多尺度表达。然而,随着目标检测任务的复杂性增加,如何更有效地融合不同层级的特征成为提升检测性能的关键。Damo-YOLO中的RepGFPN引入了重参数化的思想,通过在训练和推理阶段对特征融合模块进行结构优化,显著提升了检测效果。

博客 1584

一文讲清楚CUDA、CUDA toolkit、CUDNN、NVCC关系

目录主要参考一、CUDA/cudnn/CUDA Toolkit/NVCC区别简介二、CUDA Toolkit具体组成三、NVCC简介四、版本管理1、pytorch运行时的CUDA版本(1)查看cuda 运行版本 和 编译时的版本(2)pytorch寻找可用CUDA的过程:2、nvidia-smi和nvcc显示的CUDA版本3、conda下看到的cudatoolkit版本 主要参考 显卡,显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么 写的真的好 Pytorch

qq_41094058的博客 14万+

SAP-ABAP:SAP IDOC 全面学习指南

SAP-ABAP:SAP IDOC 全面学习指南

baidu_35680696的博客 1617

Android 9.0 SystemUI禁用长按recent键的分屏功能

​ 在9.0的系统产品开发中,系统对于多窗口模式默认会有分屏功能的,但是在某些产品中,需要禁用分屏模式,所以需要在导航栏中 禁用长按recent的分屏模式功能,接下来分析下相关分屏模式的实现 ​

安卓兼职framework和app工程师的博客 451

GPU, CUDA,cuDNN三者的关系总结

GPU, CUDA,cuDNN三者的关系总结 CPU 和 GPU cpu和gpu结构展示 GPU(图像处理器,Graphics Processing Unit)和CPU(中央处理器,Central Processing Unit)在设计上的主要差异在于GPU有更多的运算单元(如图中绿色的ALU),而Control和Cache单元不如CPU多,这是因为GPU在进行并行计算的时候每个运算单元都是执行相同的程序,而不需要太多的控制。Cache单元是用来做数据缓存的,CPU可以通过Cache来减少存取主内存的次数

qq_36697196的博客 2万+

分数间隔均衡器的基本原理及应用(使用Matlab)

通过对接收信号进行加权求和,分数间隔均衡器可以抵消信号在传输过程中受到的频率响应失真。Matlab提供了丰富的工具和函数,可以方便地实现分数间隔均衡器,并进行性能评估。分数间隔均衡器(Fractional Interval Equalizer)是一种数字信号处理技术,用于均衡带通信道中的信号失真。分数间隔均衡器的基本原理是通过对接收信号进行加权求和,以抵消信号在传输过程中受到的频率响应失真。分数间隔均衡器在通信系统中具有广泛的应用。最后,我们通过比较均衡后的信号和发送数据的阈值来进行解调,并计算误码率。

2301_79325657的博客 689

CUDA Toolkit 下载,安装,验证

官网默认显示当前的最新版本,这里以安装CUDA Toolkit 12.2 为示例下载完成。

qyhua的专栏 9726

可维护的 SAP UI5 Theming 策略:从 CSS 级联与特性选择器到 UI Theme Designer 的工程化落地

摘要:SAP UI5主题化是一个涉及CSS级联、选择器特异性和主题参数的系统工程,与应用逻辑解耦以实现品牌化和无障碍适配。轻量级调整优先使用附加CSS,重大改动才考虑创建新主题。样式冲突需通过特异性原则解决,避免滥用!important。动态添加样式应使用addStyleClass而非直接操作DOM。主题可通过bootstrap参数、URL或运行时API设置,企业级主题推荐使用UI Theme Designer。自定义内容应消费主题变量以实现一致性,避免直接修改控件内部结构或内联样式。工程化落地需规范分层和

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 308

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

CUDA和cudnn的安装

CUDA和cudnn的安装一、CUDA的安装1.1 查看显卡驱动版本。1.2 下载CUDA1.3 安装CUDA1.4 设置环境变量1.5测试CUDA是否装好二、cudnn的安装 在安装CUDA之前,需要查看自己电脑的GPU驱动的版本,因为CUDA版本对GPU驱动版本有要求,对应关系如下: 一、CUDA的安装 1.1 查看显卡驱动版本。 鼠标在桌面空白处点击右键,然后选择“NVIDIA控制面板”,进去之后就能看到自己电脑GPU的版本,如下图: 然后对照上面的表格,看是否满足需要装的CUDA版本对驱动的要求

qq_40927867的博客 3万+

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

cuda和cudnn的安装教程(全网最详细保姆级教程)

CUDA和cuDNN是由NVIDIA提供的两个关键软件库,用于利用NVIDIA GPU进行高性能计算和深度学习加速。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 7万+

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

最详细!Windows下的CUDA与cuDNN详细安装教程

本篇文章将详细从如何安装CUDA与cuDNN开始,到基本配置结束,帮助大家理清配置流程,做好环境配置的基础工作

BQ Blog 11万+

【PyTorch】n卡驱动、CUDA Toolkit、cuDNN全解安装教程

【PyTorch】n卡驱动、CUDA Toolkit、cuDNN全解安装教程

在这里你甚至能学算卦,快进来看看 1万+

安装CUDA Toolkits

当我们在项目中遇到CUDA相关的报错时,很多时候是CUDA版本的问题,需要自己尝试修改不同版本来解决,希望本文的内容可以帮助到你更好地处理这类问题。由于笔者能力有限,存在错误的地方敬请原谅。

dongbidsaxue的博客 9929

安装CUDA Toolkit(完整版)

我之前已经通过codna的方式安装了cuda toolkit来支持深度学习的训练,也可以输出torch.cuda.is_available(),证明pytorch是可以调用cuda的,但是我在使用CUDA EXTENSION的时候提示找不到CUDA,后来查询后发现CUDA的安装方式不同,CUDA也不同,关于这种不同,详情请查看这篇博客系统:Ubuntu 20.04架构:x86_64显卡:4070Ti驱动版本:535.154.05。

tanking66的博客 6万+

CUDA Toolkit安装

请确保你的网络连接正常,并检查链接是否正确。这一步确保了在安装 CUDA 时,系统会优先选择 NVIDIA 官方提供的软件源。通过以上步骤,你应该能够成功安装 CUDA Toolkit 12.6。更新系统的软件包列表,以确保系统能够识别新添加的 CUDA 软件源。这一步会将 CUDA Toolkit 的软件源添加到你的系统中。这个文件包含了 CUDA Toolkit 的安装脚本和依赖项。这一步是为了确保系统能够信任 NVIDIA 的软件源。文件,该文件用于设置软件源的优先级。安装完成后,运行以下命令验证。

2401_83655422的博客 3831

【二者区别】cuda和cudatoolkit

使用一个固定路径的软链接的好处在于,当系统中存在多个安装的 cuda 版本时,只需要修改上述软连接实际指向的 cuda 目录,而不需要修改任何其他的路径接口,即可方便的通过唯一的路径使用不同版本的 cuda. 如笔者使用的服务器中,上述固定的 /usr/local/cuda 路径即指向一个较老的 cuda-8.0 版本的目录。若直接设置了 CUDA_HOME/CUDA_PATH 变量,则 Pytorch 使用 CUDA_HOME/CUDA_PATH 指定的路径作为运行时使用的 cuda 版本的目录。

BetrayFree的博客 5743

CUDA Toolkit的安装

输出来看,你的系统已经成功识别了NVIDIA显卡,并且显示了CUDA的版本为12.2,这意味着CUDA已经被安装在系统上了。nvidia-smi工具显示的CUDA版本是指与当前NVIDIA驱动兼容的CUDA版本。这个版本信息表示你的显卡驱动支持开发和运行针对CUDA 12.2版本编写的应用程序。然而,要开始开发基于CUDA的应用程序,除了驱动程序自带的CUDA支持外,你可能还需要安装CUDA Toolkit,它提供了编译和开发CUDA应用所需的编译器(nvcc)、库和头文件。

keyboard专栏 3243

CUDA与cuDNN详细安装教程(最新)

CUDA与cuDNN安装详细教程

weixin_54106682的博客 1万+

一文搞懂CUDA, CUDA Toolkit, CUDA Driver, CUDA Runtime, nvcc之间的关系及其版本兼容性

先介绍CUDA是什么:官方定义:CUDA(Compute Unified Device Architecture),是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构(ISA)以及GPU内部的并行计算引擎。开发人员可以使用C语言来为CUDA™架构编写程序,所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。CUDA。

奇华资料的博客 8000
上一篇: 【AI总结】别再傻傻分不清!显卡、驱动、CUDA、cuDNN、nvcc、nvidia-smi、cuda toolkit、cuda driver......一张图带你全部搞懂
下一篇: 【转载】这些 Spring Boot 默认配置不改,迟早踩坑
荔枝吻
博客等级 码龄5年 533粉丝 161原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

荔枝吻

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值