【出现问题】
系统和CUDA平台:Ubuntu20.04、CUDA12.4
运行pytorch和transformers第三方安装包时出现错误,问题如下:
系统提示,libcudart.so这个动态库找不到,找了所有的地方都没有。重新上cuda官网上下载cudnn包,解压发现lib64中并没有对应的动态库文件。
【分析】
transformers本质上还是要依赖于pytorch的,笔者想到是用pip进行安装pytorch的,怀疑是不是pip安装的时候有问题,之前pip安装pytorch的终端命令如下:
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124 -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip安装一直都很顺利,但还是报跟标题一样的错误。
后面又想到使用conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia
重新安装pytorch,则会报错,具体内容如下:
pytorch-cuda库是不是要提前安装呢?该库以前是被称为cudatoolkit
,应该有一些pytorch需要依赖的库文件,由此找到了解决办法,当笔者提前安装pytorch-cuda库,是能够安装上的,并且提示的安装库里是有cuda-cudart
,折腾了半天原来是这个问题!!!!!!!
【解决办法】
提前需要安装对应的动态库文件,再重新安装pytorch,则可以解决,具体输入终端命令如下:
conda install pytorch-cuda=12.4 -c pytorch -c nvidia
# 安装pytoch,conda和pip都可以
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 -c pytorch -c nvidia
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu124 -i https://pypi.tuna.tsinghua.edu.cn/simple/