手把手教你本地部署大模型：CUDA与cuDNN环境配置全攻略，大模型入门到精通，收藏这篇就足够了！

原创于 2025-10-29 16:41:04 发布 · 788 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #自然语言处理 #AI大模型 #LLM #大模型入门

该文章已生成可运行项目，

想在本地运行大模型，却卡在环境配置？CUDA和cuDNN是GPU加速的核心，但版本混乱、依赖冲突让无数人头疼。本文从零开始，带你避坑踩雷，5分钟搞定高性能环境，让大模型在你的电脑上“飞”起来！

一、为什么必须配置CUDA/cuDNN？

大模型训练/推理依赖GPU并行计算，CUDA是NVIDIA的并行计算平台，cuDNN是深度学习加速库。没有它们，你的显卡算力将闲置90%！

二、环境准备清单

（1）硬件

NVIDIA显卡（GTX 10系以上，显存≥8GB推荐）

（2）系统

Windows 10/11 或 Ubuntu 20.04+（本文以Windows 11为例）

（3）软件

NVIDIA驱动、cuda、cuDNN

NVIDIA驱动安装

（1）驱动官网：

https://www.nvidia.cn/geforce/drivers/

选择当前电脑显卡的参数，本文以5060Ti为例

（2）选择要下载的驱动，这里选择GeForce Game Ready

NVIDIA Studio 和GeForce Game Ready 区别不是很大，以下解释来自官网：如果您是游戏玩家，希望在新游戏、新补丁和游戏追加下载内容 (DLC) 的发布日第一时间获得支持，请选择 Game Ready 驱动程序。如果您是内容创作者，优先考虑创意工作流程的稳定性和质量，例如视频编辑、动画、摄影、图形设计和直播等，请选择 Studio 驱动程序。

（3）下载完成后，双击安装

（4）选择安装目录，点击OK即可

安装cuda

（1）CMD下输入 nvidia-smi，查看显卡支持最高的cuda版本，此电脑最高可安装13.0，考虑到很多项目可能不支持最新版的cuda，这里选择cuda为12.9。

（2）cuda 12.9官网：

https://developer.nvidia.com/cuda-12-9-0-download-archive

（3）下载完成后，直接双击安装

（4）选择安装目录

（5）这里选择精简，直接下一步，等待安装完成即可。

安装cudnn

（1）cudnn官网：

https://developer.nvidia.com/rdp/cudnn-archive

（2）选择cudnn版本

由于电脑cuda版本为12.9，因此这里选择8.9.7

（3）下载Local Installer for Windows (Zip)

（4）解压cudnn.zip，并全部复制

（5）找到cuda的安装目录

（6）直接替换文件

此时驱动、cuda、cudnn已经安装完成。

测试验证

运行以下脚本

import torch
print("PyTorch 版本:", torch.__version__)
print("CUDA 是否可用:", torch.cuda.is_available())
print("CUDA 版本:", torch.version.cuda)
print("cuDNN 版本:", torch.backends.cudnn.version())
print("GPU 数量:", torch.cuda.device_count())
if torch.cuda.is_available():
print("当前 GPU:", torch.cuda.get_device_name(0))
# 简单张量计算测试
a = torch.randn(1000, 1000).cuda()
b = torch.randn(1000, 1000).cuda()
c = torch.mm(a, b)
print("GPU 矩阵乘法成功！结果形状:", c.shape)
else:
print("CUDA 不可用，请检查驱动或安装")

输出

PyTorch 版本: 2.8.0+cu129
CUDA 是否可用: True
CUDA 版本: 12.9
cuDNN 版本: 91002
GPU 数量: 1
当前 GPU: NVIDIA GeForce RTX 5060 Ti
GPU 矩阵乘法成功！结果形状: torch.Size([1000, 1000])

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇