前置条件:电脑显卡RTX 4080
问题:LLaMA-Factory在运行的时候,弹出未检测到CUDA的报错信息
结论:出现了以上的报错,主要可以归结于以下两个方面:
1、没有安装GPU版本的pytorch,下载的是CPU版本的pytorch;
2、安装的CUDA和安装的pytorch的版本不相互对应。
这里要注意,python的版本对应者pytorch的版本,pytorch的版本又对应着CUDA的版本。
可以参考这个博文:Torch not compiled with CUDA enabled问题解决过程记录-优快云博客
问题解决过程:
我本机出现这个报错时的CUDA环境是这样的:
最高支持12.6,我装了12.2版本的cuda。python版本为3.11。