六级炼药师--完美解决meta 公司llama ProcessGroupNCCL is only supported with GPUs, no GPUs found?

yangxp_0312

已于 2024-04-16 17:27:54 修改

阅读量1k

点赞数 13

分类专栏： llama 本地部署文章标签： llama ai 持续部署大数据

于 2024-04-16 14:30:21 首次发布

本文链接：https://blog.youkuaiyun.com/yangxp_0312/article/details/137823819

版权

llama 本地部署专栏收录该内容

11 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

在部署llama大模型时遇到'ProcessGroupNCCL is only supported with GPUs, no GPUs found?'错误。本文提供详细解决步骤：下载并合并krychu/llama的CPU支持版本，创建Python3环境，安装PyTorch CPU版，安装llama依赖，并指导如何下载模型进行交互。" 111762921,10293047,使用openssl进行RSA加密解密操作详解,"['加密算法', '信息安全', 'C语言编程', 'openssl工具', '非对称加密']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本人总结不易，希望三连谢谢。

llama 大模型本地部署层层闯关，下载源码下载模型到环境配置，最终在如下调用出现了如标题类似的错误，该如何解决呢，如下干活直接开始介绍解决方案，核心点，CPU结合GPU配置。

# 句子补全
 torchrun --nproc_per_node 1 example_text_completion.py \     --ckpt_dir llama-2-7b/ \     --tokenizer_path tokenizer.model \     --max_seq_len 128 --max_batch_size 4
 # 对话生成
 torchrun --nproc_per_node 1 example_chat_completion.py \     --ckpt_dir llama-2-7b-chat/ \     --tokenizer_path tokenizer.model \     --max_seq_len 512 --max_batch_size 4

解决方法步骤：

🛬🕰️🌄🚀🗺️

我已经通过安装以下内容解决了安装GPU的问题：

下载https://github.com/krychu/llama而不是单独使用 https://github.com/facebookresearch/llama
完整的安装过程&

了解本专栏

超级会员免费看