深度学习平台配置 Pytorch+RTX 44090D + Pycharm

用4090D跑深度学习和本地部署大模型

装CUDA

CUDA是什么?

CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。

命令提示符中输入 nvcc -V，测试是否有CUDA

查看本机的CUDA驱动适配版本

桌面右键打开英伟达控制面板，点击帮助->系统信息->组件

可以看到本机支持的是CUDA 12.7 版本，表示12.7 及以下的版本的cuda都可以。

NVIDIA官网下载

https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local

下载完直接一路默认安装，再次输入nvcc -V 检查已经安装成功

安装anaconda

直接下载安装

打开navigator，create新建一个环境，我这里命名为pytorch，
选择uninstalled，即未安装的包。搜索pytorch包，点击安装

点击绿色三角符号，选择open terminal， 在anaconda prompt 中查看已安装情况

测试cuda可用

安装pycharm

选择添加，关联解释器 conda\pytorch\python.exe

在pycharm环境中运行torch程序，我用的是莫烦python-pytorch例程。import torch语句没有报错，大功告成。

测试RTX3090 GPU有没有跑起来

3090小试牛刀，mnist手写集训练，参考莫烦502_GPU代码，GPU利用率才5%，果然强大

cuDNN

什么是CUDNN ?

NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习框架中，如谷歌的Tensorflow、加州大学伯克利分校的流行caffe软件。简单的插入式设计可以让开发人员专注于设计和实现神经网络模型，而不是简单调整性能，同时还可以在GPU上实现高性能现代并行计算。

CUDA与CUDNN的关系

CUDA看作是一个工作台，上面配有很多工具，如锤子、螺丝刀等。cuDNN是基于CUDA的深度学习GPU加速库，有了它才能在GPU上完成深度学习的计算。它就相当于工作的工具，比如它就是个扳手。但是CUDA这个工作台买来的时候，并没有送扳手。想要在CUDA上运行深度神经网络，就要安装cuDNN，就像你想要拧个螺帽就要把扳手买回来。这样才能使GPU进行深度神经网络的工作，工作速度相较CPU快很多。

暂时还用不上cuDNN，等用上了再更新。