微调llama3问题解决-RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment

已于 2024-07-30 17:42:04 修改
阅读量1.2k 收藏 2
点赞数 4
分类专栏： 深度学习 文章标签： python 深度学习 llama
于 2024-07-30 17:36:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq603288332/article/details/140801961
版权

问题说明之一

具体问题如下：

RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero.

我使用的这套是根据llama3训练出来的中文模型，主打一个工具多好用，地址如下：Chinese-LLaMA-Alpaca-3
由于我使用的是租的云服务器（按照消费计时的），这问题基本就是torch、cuda、cudnn版本不对！

问题说明之二

具体问题如下：

RuntimeError: CUDA error: CUBLAS_STATUS_NOT_SUPPORTED when calling `cublasGemmStridedBatchedExFix(handle, opa, opb, (int)m,
最低0.47元/天 解锁文章
RuntimeError:Expected all tensors to be on the same device, but found at least two devices解决方案
weixin_43178406的博客
09-05 4万+
本文主要介绍了RuntimeError:Expected all tensors to be on the same device, but found at least two devices解决方案，希望能对学习python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
AttributeError: ‘DeepSpeedZeroOptimizer_Stage3‘ object has no attribute ‘train‘ 解决方案
weixin_43178406的博客
10-11 12万+
本文主要介绍了AttributeError: ‘DeepSpeedZeroOptimizer_Stage3‘ object has no attribute ‘train‘ 解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
报错-模型训练: RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environmen
zwhdldz的博客
09-27 1394
官方下载地址为https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu1804/x86_64/对应好系统版本和CPU位数,我的电脑用的是Ubuntu 18.04 + x86_64。nvidia-modprobe版本过低，与显卡驱动的版本不匹配导致的。1 下载与显卡驱动一致的nvidia-modprobe。2 安装nvidia-modprobe。3 检查nvidia-smi是否报错。
解决RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment
wenqiwenqi123的博客
03-29 3389
在import torch的时候就报了这个错，试了一下在程序中设置环境变量并不能解决这个问题。
CUDA unknown error - this may be due to an incorrectly set up environment, e.g.的处理方法
最新发布
bohrium的博客
04-03 328
在debian/ubuntu下的LXD或者incus容器配置python环境后，不知道是服务器的问题还是容器的设置问题，本来在容器能正常使用GPU的torch，居然无法使用显卡。实际上nvidia-smi还是能正常执行的。网上搜了一圈，包括重装驱动之类，其实都没用，但在torch的官方仓里的issue(只要是基于容器使用显卡资源，都要留意一下服务/dev下有没有nvidia-uvm和。然后再ll一下上面提到的文件，返回正确的位置，于是重启容器就可以该问题。
CUDA报错：unknown error - this may be due to an incorrectly set up environment, e.g. changing env varia
Jeniclala的博客
01-20 7267
跑深度学习代码的时候发现没在用cuda显卡跑，而是自己默默换成了cpu 下面是问题的解决思路 进入python环境以及torch环境，通过torch.cuda.is_available()查看cuda是否存在。正常情况下结果应为true时代码才会用显卡来跑。 此时，发现了报错： CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBL
CUDA unknown error - this may be due to an incorrectly set up environment
重剑无锋博客
01-16 1522
CUDA unknown error - this may be due to an incorrectly set up environment 问题解决
【成功解决】RuntimeError: CUDA unknown error - this maybe due to an incorrectly set up environment
weixin_43148969的博客
02-24 465
安装后重启即可正常运行。
CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variabl
NLOS的博客
06-16 2601
目录问题描述解决 问题描述 安装OpenPCDet时， python setup.py develop 报错： UserWarning: CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available
CUDA unknown error - this may be due to an incorrectly set up environment 问题解决
阿良的博客
12-30 2万+
builtins.RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero.
使用LLaMA Factory微调时出现ValueError: Failed to convert pandas DataFrame to Arrow Table from file的解决方案
热门推荐
weixin_43178406的博客
09-09 14万+
本文主要介绍了使用LLaMA Factory微调时出现ValueError: Failed to convert pandas DataFrame to Arrow Table from file的解决方案，希望能对使用LLaMA Factory的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
大模型实战—Llama3-8B 中文微调
04-25 8万+
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
【成功解决，非重启】RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environme...
白帽子续命指南
10-02 1万+
【代码】【成功解决，非重启】RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environme...
CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up environment, e.g
xiangfengl的专栏
07-23 467
在我用pytorch的时候报错False。
RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment
weixin_43587572的博客
09-04 1649
解决方案：输入指令sudo shutdown -r now即可重新启动驱动。如果还是无法解决则需要重新安装驱动。
RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changi
weixin_44777827的博客
03-02 7163
最近在训练网络模型时，出现以下错误： /home/xw/anaconda3/envs/openmmlab/lib/python3.7/site-packages/torch/cuda/__init__.py:52: UserWarning: CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE
RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment 解决
carissaying的博客
05-05 1096
运行命令 apt-get install nvidia-modprobe 解决方案来自李皮皮的悲惨生活https://blog.youkuaiyun.com/weixin_48464886感谢and自己存个档
RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero.
03-14
### 关于CUDA未知错误的解决方案 当遇到`RuntimeError: CUDA unknown error`时，这通常表明存在环境配置问题。以下是可能的原因以及对应的解决方法： #### 可能原因分析 1. **环境变量设置不当** 如果程序启动后修改了`CUDA_VISIBLE_DEVICES`环境变量，则可能导致此错误[^1]。 2. **PyTorch与CUDA版本不匹配** 即使安装了支持GPU的PyTorch版本，如果其依赖的CUDA库版本与实际系统中的CUDA驱动版本不符，也可能引发此类错误[^3]。 3. **多线程或多进程环境中设备分配冲突** 在某些情况下，多个线程或进程尝试访问相同的CUDA资源而未正确同步，也会触发类似的错误。 4. **NVIDIA驱动异常** 尽管`nvidia-smi`命令能够正常工作并显示可用显卡信息，但这并不完全排除潜在的驱动兼容性问题。 #### 解决方案 为了有效应对上述情况，可以采取以下措施之一或者组合使用它们来解决问题: ##### 方法一：提前设定`CUDA_VISIBLE_DEVICES` 通过在脚本执行前定义该环境变量的方式指定可见的GPU编号列表。例如，在Python代码开头加入下面这段逻辑可以帮助锁定特定物理设备作为计算目标: ```python import os os.environ['CUDA_VISIBLE_DEVICES'] = '0' # 设定只看到第0号GPU ``` 这种方法适用于单机单卡场景下强制绑定某一块具体硬件的情况[^4]。 ##### 方法二：验证软件栈一致性 确认当前使用的PyTorch构建所基于的具体CUDA工具链版本，并确保操作系统层面已安装相匹配的NVIDIA GPU驱动器版本。可以通过官方文档查询推荐搭配关系表来进行对比校验。 ##### 方法三：重启会话重新初始化 有时候简单的关闭所有相关应用程序再重试即可消除临时状态残留带来的干扰因素；另外也可以考虑注销登录账户甚至重启整个机器以彻底清理后台残留影响。 ##### 方法四：调试模式排查深层矛盾 启用更详细的日志记录功能以便收集更多上下文线索用于进一步诊断复杂情形下的根本成因。对于PyTorch而言，可借助如下指令开启额外输出选项： ```bash export TORCH_CUDA_ARCH_LIST="All" export NCCL_DEBUG=INFO ``` 这些参数调整有助于揭示隐藏的操作细节从而定位确切位置上的障碍所在[^2]。 --- ### 总结 综上所述，针对`RuntimeError: CUDA unknown error`这一类现象的最佳实践包括但不限于合理规划环境变量赋值时机、严格遵循软硬件协同需求指南以及充分利用框架内置辅助机制等方面的努力方向。希望以上建议对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值