ibcusparse.so.12: undefined symbol: __nvJitLinkComplete_12_4, version libnvJitLink.so.12

ImportError: /home/xxx/anaconda3/envs/glm-4-demo/lib/python3.12/site-packages/torch/lib/../../nvidia/cusparse/lib/libcusparse.so.12: undefined symbol: __nvJitLinkComplete_12_4, version libnvJitLink.so.12

最近在Ubuntu上运行Glm4的大模型,总是报以上错误。

和通义千问沟通:

python vllmGlm4.py Traceback (most recent call last):

File "/server/repo/GLM-4/basic_demo/moda/vllmGlm4.py", line 1, in <module> from transformers import AutoTokenizer

File "/home/xxx/anaconda3/envs/glm-4-demo/lib/python3.12/site-packages/transformers/__init__.py", line 26, in <module> from . import dependency_versions_check

File "/home/xxx/anaconda3/envs/glm-4-demo/lib/python3.12/site-packages/transformers/dependency_versions_check.py", line 16, in <module> from .utils.versions import require_version, require_version_core

File "/home/xxx/anaconda3/envs/glm-4-demo/lib/python3.12/site-packages/transformers/utils/__init__.py", line 27, in <module> from .chat_template_utils import DocstringParsingException, TypeHintParsingException, get_json_schema

File "/home/xxx/anaconda3/envs/glm-4-demo/lib/python3.12/site-packages/transformers/utils/chat_template_utils.py", line 39, in <module> from torch import Tensor

File "/home/xxx/anaconda3/envs/glm-4-demo/li

这个错误信息通常出现在使用NVIDIA CUDA库进行开发时,特别是当涉及到稀疏矩阵操作时。`libcusparse.so.12`是CUDA稀疏矩阵库(cuSPARSE)的共享库文件,而`__nvJitLinkComplete_12_4`是一个内部符号,可能在链接过程中未正确解析。 以下是一些可能的原因和解决方法: 1. **CUDA版本不匹配**: - 确保你的CUDA版本与你的开发环境和应用程序所需的版本匹配。不同版本的CUDA库可能包含不同的符号。 2. **驱动程序问题**: - 确保你的NVIDIA驱动程序是最新的。旧版本的驱动程序可能不包含某些新版本的CUDA库所需的符号。 3. **库路径问题**: - 确保你的库路径(`LD_LIBRARY_PATH`)正确设置,并且包含了CUDA库的路径。你可以使用以下命令临时添加库路径: ```sh export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH ``` 4. **重新安装CUDA**: - 如果上述方法无效,尝试重新安装CUDA。确保在安装过程中选择了正确的版本和选项。 5. **编译选项**: - 确保在编译和链接时使用了正确的CUDA库路径和标志。例如,使用`-lcusparse`链接cuSPARSE库: ```sh nvcc -o my_program my_program.cu -lcusparse ``` 6. **环境变量**: - 检查并设置`CUDA_HOME`环境变量,确保它指向正确的CUDA安装目录: ```sh export CUDA_HOME=/usr/local/cuda ``` 通过以上步骤,你应该能够解决`libcusparse.so.12: undefined symbol: __nvJitLinkComplete_12_4`错误。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值