大模型conda环境安装步骤

1、默认安装完成conda
2、conda create --name myenv python=3.8
3、pytorch安装
先nvidia-smi查看cuda版本
然后去pytorch官网
命令如:conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
4、安装transformers
pip install transformers
5、pip install accelerate
6、pip install -i https://pypi.org/simple/ bitsandbytes
注意bitsandbytes没有空格报错
安装完成第六步之后应该可以正常预测了,下面是用来进行训练的相关环境
7、 pip install peft
pip install datasets
(接下来发现第15步的报错报错,这里8-14步都是认为是deepspeed报错,尝试d安装eepspeed,未解决后回退,不安装可以直接跳到15步)
8、运行程序cuda报错有可能是deepspeed没装或者内存不够
(需要pip install deepspeed,继续报错)
9、安装deepspeed不能用torch内置的cuda,需要再安装一版本cuda
需要坚持版本是使用apt还是yum来进行cuda安装
(yum install nvidia-cuda-toolkit
发现yum报错:CRYPTO_num_locks
10、解决yum报错,原因是链接到conda中的库了,但机器的python版本不一致
首先查看报错位置
ldd /usr/lib64/p

conda环境安装spacy,可以通过以下步骤进行操作。首先,打开anaconda prompt,并使用以下命令通过conda-forge安装spacy: ``` conda install -c conda-forge spacy ``` 接下来,你需要下载一个语言模型。根据引用,你可以使用以下命令下载英语语言模型: ``` python -m spacy download en ``` 另外,你还可以使用以下命令添加conda-forge渠道和安装spacy: ``` conda config --add channels conda-forge conda install spacy ``` 总之,以上方法可以在conda环境安装spacy。希望这对你有帮助!<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Install spaCy 安装spaCy步骤](https://blog.youkuaiyun.com/qq1376725255/article/details/88728306)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Windows下在anaconda环境安装自然语言处理工具---Spacy](https://blog.youkuaiyun.com/weixin_34613450/article/details/80218624)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值