【保姆级喂饭教程】【抽丝剥茧知识讲解】2025年 Windows10 安装 CUDA Toolkit 和 cuDNN，PyTorch 安装 CUDA Runtime 和 cuDNN

-1

原创已于 2025-08-28 13:13:46 修改 · 1.4k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #人工智能 #python #cuda #cudnn

于 2025-08-28 11:28:40 首次发布

【保姆级喂饭教程】同时被 3 个专栏收录

21 篇文章

订阅专栏

AI大模型

12 篇文章

订阅专栏

【抽丝剥茧知识讲解】

6 篇文章

订阅专栏

前言1

在深度学习与高性能计算领域，GPU 早已成为加速训练与推理的“第二颗 CPU”。但想让 GPU 真正发挥作用，离不开一套与之配套的软件栈——CUDA。本教程将以“零基础、可复制”为目标，从硬件检测到环境变量，一步一步带你完成 CUDA Toolkit 与 cuDNN 的完整安装与验证。

前言2

安装之前弄清楚自己是否需要安装cuda和cudnn…切记
本文出发点是使用pytorch运行后发现无法使用cuda加速模型计算，print(torch.cuda.is_available())输出为false
如果是用pytorch运行、微调、编写大模型，是不需要再安装CUDA Toolkit 的 cuDNN，详见第五章

一、CUDA、cuDNN介绍

1. 什么是 CUDA

CUDA全称统一计算设备架构（Compute Unified Device Architecture, CUDA），是 NVIDIA 于 2007 年推出的并行计算平台与编程模型。它把 GPU 的成百上千个计算核心抽象成通用计算单元，使开发者可以用 C/C++、Fortran、Python（通过 PyTorch/TensorFlow 等）直接调度 GPU 执行矩阵乘法、卷积、FFT 等大规模并行任务。
简单点说就是，CUDA提供了一套并发编程工具包，开发者通过CUDA提供的API可以方便地操控GPU进行并行计算，提升运算速度。

核心组成：

CUDA Toolkit：含编译器（nvcc）、运行时库（libcudart）、数学库（cuBLAS、cuFFT、cuSPARSE 等）与调试/分析工具（Nsight、cuDNN）。
CUDA Driver：内核级驱动，负责与显卡对话；驱动版本必须 ≥ Toolkit 版本所需最小驱动版本。

官方文档-CUDA 兼容性开发者指南
在这里插入图片描述

提供的API：

Runtime API：由CUDA Toolkit installer安装，对应文件为libcudart.so（Linux）以及nvcc
CUDA Driver API：由NVIDIA 显卡驱动安装的时候一起安装，对应文件为libcuda.so (Linux) / nvcuda.dll (Windows)，安装后提供nvidia-smi.exe来管理和监控NVIDIA GPU设备。
- 实际文件位置：
- Linux：/usr/lib/x86_64-linux-gnu/libcuda.so.*
- Windows：C:\Windows\System32\nvcuda.dll
二者版本需兼容。

一句话记忆：CUDA Toolkit 是“指挥中心”，CUDA Driver 是“对讲机”，GPU 是“工人”。

2. 什么是 cuDNN

cuDNN的全称为NVIDIA CUDA® Deep Neural Network library，是NVIDIA专门针对深度神经网络中的基础操作而设计基于GPU的加速库，面向卷积神经网络、RNN、Transformer 等常见算子做了极致优化。

提供算子：卷积前向/反向、池化Pooling、归一化、RNN 单元、Softmax、矩阵乘（GEMM）等。
与框架关系：PyTorch/TensorFlow 在 GPU 上运行模型时，会动态加载 cuDNN 的动态库（libcudnn.so / cudnn64_*.dll）；版本不匹配会导致 “CUDNN_STATUS_NOT_SUPPORTED” 等报错。
安装形式：一个压缩包，解压后把 bin、lib、include 里的文件复制到 CUDA Toolkit 对应目录即可，体积约 500 MB。9.0.0以后新增了图形化安装。

3. 总结

一句话总结：

CUDA 让你“能”用 GPU，cuDNN 让你“快”用 GPU。两者版本必须对齐，且与显卡驱动保持兼容。

4. 相关名词

请添加图片描述

【AI总结】别再傻傻分不清！显卡、驱动、CUDA、cuDNN、nvcc、nvidia-smi、cuda toolkit、cuda driver…一张图带你全部搞懂
 显卡，显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn区别？

二、确定版本

由于GPU是硬件，硬件不会更新，所以安装软件工具必须查看硬件信息。
不像开发项目，版本源头取决于使用的语言，比如Java8、python3.13。

1. 教程环境版本

设备：神舟战神笔记本
系统：Windows 10 企业版 22H2
显卡：NVIDIA RTX3060 6G
NVIDIA Control Panel：8.1.968.0

2. 查看显卡驱动支持的最高 CUDA 版本

2.1 cmd命令 nvidia-smi

打开cmd，输入nvidia-smi命令回车
Driver Version是当前显卡驱动版本，同时也是CUDA驱动版本
CUDA Version是可支持的最高CUDA Runtime版本，对应是CUDA Toolkit的版本，并不代表你装了 Toolkit 哦
我这里最高支持的CUDA Toolkit版本是11.4，没有特殊要求，一般用最新的就好
后续打算升级一下驱动，以支持更高的CUDA Toolkit版本
在这里插入图片描述

2.2 NVIDIA 控制面板

也可以通过NVIDIA 控制面板查看CUDA支持版本，不如上面的命令方便，这里只做了解

左下角点击搜索图标或搜索框，搜索nvidia，点击NVIDIA Control Panel
在这里插入图片描述

这一步可能出错：

解决参考：
【沉浸式解决问题】NVIDIA 显示设置不可用。您当前未使用连接到NVIDIA GPU 的显示器。

在这里插入图片描述

3. CUDA Toolkit和驱动版本关系

例如我的驱动版本为471.41，对应CUDA版本为11.4
当我安装CUDA 12.1 时，会报错驱动版本不够
当我安装CUDA 11、10、9等，是可以向下兼容的
当我升级显卡驱动后，不会出错，同时可以安装更高的CUDA版本了
CUDA 工具包和最低驱动版本

CUDA 工具包和 CUDA 次要版本兼容性所需的最小驱动程序版本
在这里插入图片描述
 CUDA Toolkit 和对应驱动版本

CUDA Toolkit	Toolkit Driver Version
	Linux x86_64 Driver Version	Windows x86_64 Driver Version
CUDA 13.0 GA	>=580.65.06	N/A
CUDA 12.9 Update 1	>=575.57.08	>=576.57
CUDA 12.9 GA	>=575.51.03	>=576.02
CUDA 12.8 Update 1	>=570.124.06	>=572.61
CUDA 12.8 GA	>=570.26	>=570.65
CUDA 12.6 Update 3	>=560.35.05	>=561.17
CUDA 12.6 Update 2	>=560.35.03	>=560.94
CUDA 12.6 Update 1	>=560.35.03	>=560.94
CUDA 12.6 GA	>=560.28.03	>=560.76
CUDA 12.5 Update 1	>=555.42.06	>=555.85
CUDA 12.5 GA	>=555.42.02	>=555.85
CUDA 12.4 Update 1	>=550.54.15	>=551.78
CUDA 12.4 GA	>=550.54.14	>=551.61
CUDA 12.3 Update 1	>=545.23.08	>=546.12
CUDA 12.3 GA	>=545.23.06	>=545.84
CUDA 12.2 Update 2	>=535.104.05	>=537.13
CUDA 12.2 Update 1	>=535.86.09	>=536.67
CUDA 12.2 GA	>=535.54.03	>=536.25
CUDA 12.1 Update 1	>=530.30.02	>=531.14
CUDA 12.1 GA	>=530.30.02	>=531.14
CUDA 12.0 Update 1	>=525.85.12	>=528.33
CUDA 12.0 GA	>=525.60.13	>=527.41
CUDA 11.8 GA	>=520.61.05	>=520.06
CUDA 11.7 Update 1	>=515.48.07	>=516.31
CUDA 11.7 GA	>=515.43.04	>=516.01
CUDA 11.6 Update 2	>=510.47.03	>=511.65
CUDA 11.6 Update 1	>=510.47.03	>=511.65
CUDA 11.6 GA	>=510.39.01	>=511.23
CUDA 11.5 Update 2	>=495.29.05	>=496.13
CUDA 11.5 Update 1	>=495.29.05	>=496.13
CUDA 11.5 GA	>=495.29.05	>=496.04
CUDA 11.4 Update 4	>=470.82.01	>=472.50
CUDA 11.4 Update 3	>=470.82.01	>=472.50
CUDA 11.4 Update 2	>=470.57.02	>=471.41
CUDA 11.4 Update 1	>=470.57.02	>=471.41
CUDA 11.4.0 GA	>=470.42.01	>=471.11
CUDA 11.3.1 Update 1	>=465.19.01	>=465.89
CUDA 11.3.0 GA	>=465.19.01	>=465.89
CUDA 11.2.2 Update 2	>=460.32.03	>=461.33
CUDA 11.2.1 Update 1	>=460.32.03	>=461.09
CUDA 11.2.0 GA	>=460.27.03	>=460.82
CUDA 11.1.1 Update 1	>=455.32	>=456.81
CUDA 11.1 GA	>=455.23	>=456.38
CUDA 11.0.3 Update 1	>= 450.51.06	>= 451.82
CUDA 11.0.2 GA	>= 450.51.05	>= 451.48
CUDA 11.0.1 RC	>= 450.36.06	>= 451.22
CUDA 10.2.89	>= 440.33	>= 441.22
CUDA 10.1 (10.1.105 general release, and updates)	>= 418.39	>= 418.96
CUDA 10.0.130	>= 410.48	>= 411.31
CUDA 9.2 (9.2.148 Update 1)	>= 396.37	>= 398.26
CUDA 9.2 (9.2.88)	>= 396.26	>= 397.44
CUDA 9.1 (9.1.85)	>= 390.46	>= 391.29
CUDA 9.0 (9.0.76)	>= 384.81	>= 385.54
CUDA 8.0 (8.0.61 GA2)	>= 375.26	>= 376.51
CUDA 8.0 (8.0.44)	>= 367.48	>= 369.30
CUDA 7.5 (7.5.16)	>= 352.31	>= 353.66
CUDA 7.0 (7.0.28)	>= 346.46	>= 347.62

三、CUDA下载及安装

1. 下载

打开cuda-toolkit官网，点击Download Now下载按钮
https://developer.nvidia.com/cuda-toolkit
在这里插入图片描述
目前最新的版本是13.0，一般来说我们的驱动更新不及时，支持的最高版本肯定比这个低，点击底部右侧的Archive of Previous CUDA Releases打开历史版本页面

找到支持的最高版本的第三位小版本号最高的
直达链接：https://developer.nvidia.com/cuda-toolkit-archive
在这里插入图片描述
按照自己的系统情况依次选择：操作系统-架构-版本-安装类型，local表示本地安装，network表示网络安装，正常就选择本地安装
下面会加载下载按钮，点击下载

2. 安装

双击下载好的cuda_11.4.4_472.50_windows.exe，首先是设置临时目录，可能是安装的过程中解压一些内容，安装完成后会自动删除
我比较好奇会生成什么，所以自定义一下
在这里插入图片描述
更改后点击ok
注意：临时解压目录千万不要和cuda的安装路径设置成一样的，否则安装结束，会找不到安装目录的！！！

好吧，这个exe其实是个压缩包，它是先完成解压，再自动执行安装exe，
下载的exe大小2.78G，解压后5.7G，大约翻一倍，所以是否修改临时目录主要取决于你的c盘空间是否充足
在这里插入图片描述
部分文件示例

解压后自动打开安装程序，点击同意并继续

选择自定义安装，点击下一步。
精简安装不能选择安装组件和安装位置

如果你是第一次安装，尽量全选
如果你是第n次安装，尽量只选择第一个
在这里插入图片描述
根据c盘空间选择是否修改安装位置

CUDA Documentation：cuda文档
Samples：cuda示例
CUDA Development：cuda toolkit

在这里插入图片描述
我习惯把所有应用都安装在D盘，可以参考下我的修改目录，点击下一步

这里因为我电脑上没有安装Visual Studio，会弹出一个提示，没什么影响
原因是CUDA Toolkit 里带了一个Visual Studio Integration组件，作用是：

把 nvcc 编译器挂到 VS 的工具链里；
在 VS 模板里出现 CUDA Project 向导；
让 VS 能正确识别 .cu 文件并高亮、调试。
我之后是打算用pycharm，使用的也是pytorch库，所以勾选I understand忽略就行（也可以在上上步的组件选择中CUDA下取消这一项），点击next

安装中

大概两三分钟，关于Visual Studio的都安装失败了，不用管，下一步

可以看到安装的组件第一项就是nvcc编译器，点击关闭，会自动把刚刚解压的内容所在文件夹整个删掉

上面忘记取消勾选启动 NVIDIA GeForce Experience了，自动打开了，关闭就行

3. 验证

重新打开cmd，输入nvcc -V或者nvcc --version
在这里插入图片描述

打开环境变量-系统变量，CUDA一共设置了四个

CUDA_PATH：CUDA根目录
CUDA_PATH_V11_4：CUDA版本目录，一看就是用于多版本安装和切换
NVCUDASAMPLES_ROOT：示例根目录
NVCUDASAMPLES11_4_ROOT：示例版本目录

在这里插入图片描述

还添加了两个路径环境变量

四、cuDNN下载及安装

1. 下载

1.1 安装程序可执行文件下载

打开cudnn官网，点击Download cuDNN Library按钮下载
https://developer.nvidia.com/cudnn
在这里插入图片描述
目前最新版是9.12.0，点击底部右侧的Archive of Previous CUDA Releases打开历史版本页面
https://developer.nvidia.com/cudnn-downloads

如下图，分为两部分，上面是从9.0.0版本开始的详细列表，下载时不再区分对应CUDA Toolkit版本，同时英伟达策略调整，下载不再需要注册
点击cuDNN 8.x - 1.x查看下以前的版本
https://developer.nvidia.com/cudnn-archive
在这里插入图片描述
8.x之前同一cuDNN对应不同的CUDA Toolkit是单独下载的，也可以看出cuDNN每个版本同时支持最近的两个CUDA Toolkit的大版本
我的CUDA Toolkit是11.4，点开支持的最高版本 cuDNN v8.9.7
https://developer.nvidia.com/rdp/cudnn-archive
在这里插入图片描述
分为两大块，一块是windows和debian系Linux，一块是Redhat系Linux，选择自己的系统就好，我们是Windows，选择第一个

以前的版本仍然维持需要注册，这里就不示例了
cuDNN 9.0.0支持CUDA11.x和12.x，所以如果你的显卡驱动最高支持的CUDA Toolkit版本是10.x或者之前，只能通过注册下载，或者升级驱动
在这里插入图片描述

1.2 压缩文件下载

这里下载也不需要登录，不过只有cuda 10.x以后的
https://developer.download.nvidia.cn/compute/cudnn/redist/cudnn/windows-x86_64/
在这里插入图片描述

1.3 cuDNN 和 CUDA Toolkit 版本关系

因为cuDNN 9.x以后对应CUDA Toolkit版本关系不在一起，我来连带着之前的版本总结一下

首先是这里提到了9.11.0版本以后不再支持CUDA Toolkit 11.x和Ubuntu 20.04
https://docs.nvidia.com/deeplearning/cudnn/backend/latest/release-notes.html#cudnn-9-11-0
在这里插入图片描述
这个页面可以查看每个版本支持的 NVIDIA 硬件和CUDA 版本，左下角可以切换cuDNN版本，看下9.0.0
https://docs.nvidia.com/deeplearning/cudnn/backend/latest/reference/support-matrix.html#support-matrix

支持CUDA

cuDNN 和 CUDA Toolkit 版本关系汇总：

cuDNN	CUDA Toolkit
9.12.0	12.x，13.0
9.11.0-9.11.1	12.x
9.0.0-9.10.2	11.x，12.x
8.8.0-8.9.7	11.x，12.x
8.0.1-8.7.0	10.x，11.x
7.3.0-7.6.5	9.x，10.x
7.2.1	9.2
7.0.4-7.1.4	8.x，9.x
5-6.0	7.5，8.0
3，4	7
2	6.5
1	6.5

最新版本对应推荐
CUDA Toolkit 11.x + cuDNN 9.10.2
CUDA Toolkit 12.x + cuDNN 9.12.0

1.4 cuDNN 9.x下载

回到刚刚的历史版本页面，点击支持CUDA Toolkit 11.x的最新的cuDNN 9.10.2
在这里插入图片描述
按照自己的系统情况依次选择：操作系统-架构-版本-安装类型，local表示本地安装，点击Download按钮下载

2. 安装

cuDNN的库是一些静态文件，以前的教程都是移动到cuda toolkit的目录中，9.x以后的新版本好像都单独放置了
官方文档-为 Windows 软件安装 cuDNN 后端

2.1 图形化安装

双击下载好的cudnn_9.10.2_windows.exe，首先也是设置临时目录，
我的c盘空间较小，修改目录解压到d盘，空间足够的不用管，删除的很干净
点击ok
在这里插入图片描述
解压前700M，解压后1.52GB，同样是翻一倍

点击同意并继续

点击自定义选框，点击下一步

把对应CUDA 12.9的组件框选去掉，留下的是对应CUDA 11.8，我的CUDA Toolkit 是11.4，应该是向下兼容的吧。（如果不行就去历史版本下载v8.2.4）
在这里插入图片描述
修改安装目录，点击下一步，我的是

D:\Program\Work\NVIDIA\CUDNN\v9.10

在这里插入图片描述
安装很快，点击关闭

安装后目录

D:\Program\Work\NVIDIA\CUDNN\v9.10\bin\11.8

D:\Program\Work\NVIDIA\CUDNN\v9.10\include\11.8

D:\Program\Work\NVIDIA\CUDNN\v9.10\lib\11.8\x64

核心的三个目录bin、include、lib，文件比之前的多很多

2.2 压缩包安装

对应1.2 压缩文件下载方法，没有测试，翻译一下官方好了
在这里插入图片描述

3. 测试

由于都是静态文件，图形化安装未设置任何环境变量，但是压缩包安装的教程中是需要添加bin目录到path环境变量中的，暂不知有没有影响

由于我也没有visual studio，也没办法进行项目测试了，其他教程提到的D:\Program\Work\NVIDIA\CUDA\v11.4\extras\demo_suite中的bandwidthTest.exe和deviceQuery.exe均与cuDNN无关，测试不出来

后续发现我并不需要CUDA Toolkit 和 cuDNN ，以后有机会再测试吧

五、PyTorch 安装 CUDA Runtime 和 cuDNN

在安装完CUDA Toolkit 和 cuDNN 后发现print(torch.cuda.is_available())还是false，才发现现在PyTorch 的 wheel 自带CUDA Runtime + cuDNN了，它还不能用你本地安装的…
被最开始的一个教程和ai误导了><
所以安装CUDA Toolkit 和 cuDNN前一定要确定自己的需求，已经加到前言2了

1. PyTorch 与 CUDA 历史

2018 年以前（PyTorch ≤ 0.4 时代）必须自己先装 CUDA Toolkit + cuDNN；
从 PyTorch 1.0（2018 年底）开始，官方提供了“自带 CUDA/cuDNN”的预编译 wheel，绝大多数用户再也不用手动装 Toolkit 了。

历史时间线：

时期	PyTorch 版本	安装方式	是否需要手动装 CUDA Toolkit / cuDNN	备注
早期 2017 及之前	≤ 0.4.x	源码编译或 conda/pip 裸包	✅ 必须手动装	没有官方 GPU wheel，只能用 `conda install pytorch cuda80 -c pytorch` 或自己 `python setup.py install`
过渡期 2018	0.4.1 → 1.0 RC	出现 cuda90/cuda92 子包	⚠️ 半自动	需要把对应 CUDA runtime 解压到 conda 环境；cuDNN 仍需手动拷贝
现代 2019 至今	≥ 1.0 正式版	官方 wheel 如 `+cu118`、`+cu121`	❌ 不再需要	`pip install torch --index-url https://download.pytorch.org/whl/cu118` 一步到位，已含所需 runtime 和 cuDNN

直接使用CUDA的情况1：

实现自定义层（custom layer）：如果需要创建一个深度学习模型中的自定义层，该层的计算不是标准的深度学习操作，那么你可能需要直接使用CUDA编写这些自定义操作。
为了提高计算效率，合并多个层：在某些情况下，你可能希望将多个标准层合并为一个更大的操作，以提高计算效率。这可能需要直接使用CUDA来执行这些合并操作。）

直接使用CUDA的情况2：

要写/编译自定义 CUDA 算子
使用需要nvcc编译器的第三方库
自己从源码编译 PyTorch
需要编译带 CUDA 扩展的第三方库
开发CUDA扩展或插件
使用某些高级GPU编程特性
生产环境部署需要完整的CUDA环境

场景总结：

场景	该装什么	具体命令/动作	备注
只想跑训练/推理（99 % 深度学习用户）	PyTorch GPU wheel 即可	`pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118`	自带 CUDA Runtime + cuDNN，不再手动装 Toolkit/cuDNN
自己写 `.cu` 或给第三方库编译扩展	安装 CUDA Toolkit + 对应驱动	官网下载 `cuda_12.x.x_win.exe`	需要 `nvcc`、头文件、静态/动态库
写 CUDA 扩展且用到深度学习算子	CUDA Toolkit + cuDNN	Toolkit 装好后，把 cuDNN 拷贝到 `CUDA_PATH` 目录	版本需匹配（9.x 覆盖 11/12，8.x 要分 11/12）

2. PyTorch cpu版

PyTorch分为cpu版和gpu版，正常通过pip或者uv安装就是cpu版，我以uv项目为例

uv add torch

测试代码

import torch
print(torch.__version__)            # PyTorch 版本
print(torch.cuda.is_available())    # True 表示 GPU 可用

后面的+cpu表示就是cpu版本
在这里插入图片描述

3. PyTorch gpu版

PyTorch 自带预编译的 CUDA 库（runtime），跟你机器上的 CUDA Toolkit 是独立的，PyTorch 并不依赖你系统上安装的 CUDA Toolkit 运行（除非你自己编译 PyTorch）。

首先卸载cpu版

uv remove torch

在这里插入图片描述
再安装gpu版，gpu版需要从指定的仓库地址下载，官方仓库格式为https://download.pytorch.org/whl/cuXXX，把XXX换成自己支持的最高CUDA版本的数字，例如我的是11.4，就是https://download.pytorch.org/whl/cu114
结果打不开
找了一下原因，正好pytorch没有这一版，前后都有，只好使用次一版的11.3了
如下图，每一版里都提供了一整套工具
https://download.pytorch.org/whl/cu113
在这里插入图片描述

下面链接是torch的所有wheel仓库，有所有的版本，往下面找到cu开头的，可以看到113过去直接就是115了
https://download.pytorch.org/whl/torch_stable.html
在这里插入图片描述

有链接的CUDA版本：75，80，90，91，92，100，101，102，110，111，113，115，116，117，118，121
选择自己支持的最高版本的前一个版本即可

接下来开始安装

3.1 PyPI 源

官方源
这里的索引地址感觉应该也用-f

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu113

torchvision：计算机视觉库，提供数据集、预训练模型和图像处理工具。
torchaudio：音频处理库，支持语音识别、音频增强等任务。
不需要的不安装也可以

清华源

pip3 install torch==2.4.1 torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

3.2 国内镜像

阿里镜像

pip3 install torch==2.4.1 torchvision torchaudio -f https://mirrors.aliyun.com/pytorch-wheels/cu121/

这里使用了 -f 选项，表示指定一个包含包文件的页面，而不是使用 --index-url，因为这些镜像不提供完整的索引服务。
-i 指定主索引地址，等价于 --index-url。常用于替换默认的 PyPI 源
-f 用于指定额外的包搜索路径，等价于 --find-links。这个路径可以是本地目录或者是一个包含包链接的HTML页面。

上海交通大学镜像

pip3 install torch==2.4.1 torchvision torchaudio -f https://mirror.sjtu.edu.cn/pytorch-wheels/cu113

3.3 uv项目

由于我是uv项目进行开发，上面的链接都没有实际测试，请结合自己的情况进行选择
【保姆级喂饭教程】【抽丝剥茧知识讲解】uv教程一文讲透：安装，创建，配置，工具，命令

project.toml

官方示例写法

[[tool.uv.index]]
name = "pytorch"
url = "https://download.pytorch.org/whl/cu113"
explicit = true

[tool.uv.sources]
torch = { index = "pytorch" }
torchvision = { index = "pytorch" }
torchaudio = { index = "pytorch" }

安装

uv add torch

报错了，根据平台只能匹配到torch==2.0.1，而 2.0.1 的 cu113 Windows wheel 只到 Python 3.10。我的项目python用到是3.11，所以找不到wheel包
在这里插入图片描述
询问ai找到解决方法，直接去cu118的链接里面下载11.8版本，虽然我的驱动最高支持CUDA为11.4，但是没事。那我就试一试

project.toml

[[tool.uv.index]]
name = "pytorch"
url = "https://download.pytorch.org/whl/cu118"
explicit = true

[tool.uv.sources]
torch = { index = "pytorch" }
torchvision = { index = "pytorch" }
torchaudio = { index = "pytorch" }

应该是成功了，torch包变成了2.6GiB，这也是为什么要区分cpu版和gpu版的原因，CUDA Runtime API和CuDNN太大了
在这里插入图片描述
安装完成

测试

import torch
print(torch.__version__)              # PyTorch 版本
print(torch.cuda.is_available())      # True 表示 GPU 可用
print(torch.version.cuda)           # 显示 PyTorch 内置的 CUDA 版本
print(torch.backends.cudnn.version()) # 显示 PyTorch 内置的 CUDNN 版本

显示cu118就说明是gpu版本了
在这里插入图片描述

uv.toml

按理说把设置放到uv.tom里面也生效，经测试无效，下载的还是cpu版本

[[index]]
name = "pytorch"
url = "https://download.pytorch.org/whl/cu118"
explicit = true

[sources]
torch = { index = "pytorch" }
torchvision = { index = "pytorch" }
torchaudio = { index = "pytorch" }

安装

uv add torch

六、问题

1. 为什么只安装ollama启动大模型可以使用gpu

答：Ollama 自带了 GPU 加速所需的 CUDA 运行时，调用自己的推理引擎（如 llama.cpp + CUDA 后端），它不需要你本地单独安装 CUDA Toolkit 或 PyTorch/TensorFlow。

参考文献

后记

后续相关教程计划：

【保姆级喂饭教程】英伟达显卡驱动升级教程
【保姆级喂饭教程】安装多版本cuda，多版本之间切换

喜欢的点个关注吧><！祝你永无bug~

/*
                   _ooOoo_
                  o8888888o
                  88" . "88
                  (| -_- |)
                  O\  =  /O
               ____/`---'\____
             .'  \\|     |//  `.
            /  \\|||  :  |||//  \
           /  _||||| -:- |||||-  \
           |   | \\\  -  /// |   |
           | \_|  ''\---/''  |   |
           \  .-\__  `-`  ___/-. /
         ___`. .'  /--.--\  `. . __
      ."" '<  `.___\_<|>_/___.'  >'"".
     | | :  `- \`.;`\ _ /`;.`/ - ` : | |
     \  \ `-.   \_ __\ /__ _/   .-` /  /
======`-.____`-.___\_____/___.-`____.-'======
                   `=---='
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
            佛祖保佑       永无BUG
*/