【Lora】使用kohya_ss训练Lora模型,解决Can‘t load tokenizer报错

前言

本文是AI绘画子模型Lora的训练工具kohya_ss的报错解决。不含Stable Diffustion使用相关的信息。
工具链接:kohya_ss

症状

Win11 23H2下运行setup.bat,选1安装后选6启动,成功进入webUI界面,填完参数以后点开始训练。报以下错误:
OSError: Can't load tokenizer for 'openai/clip-vit-large-patch14'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'openai/clip-vit-large-patch14' is the correct path to a directory containing all relevant files for a CLIPTokenizer tokenizer.

初步判断是因为连不上huggingface,无法下载模型导致的。sd本体也有不少人遇到这个问题,解决办法是手动下载之后改代码里的指向路径。

解决办法

手动下载

首先访问 这个仓库,切换到File And Versions选项卡,点文件大小右边的 依次下载所有文件,然后保存到同一个目录。例如:D:\clip-vit-large-patch14,如果是Linux平台记得检查一下文件权限。

改变代码指向

打开venv\Lib\site-packages\transformers\tokenization_utils_base.py这个文件,搜索

pretrained_model_name_or_path = str(pretrained_model_name_or_path)

改成

pretrained_model_name_or_path = "D:\models--openai--clip-vit-large-patch14"  <-刚才手动下载保存的路径

最后重启软件就可以了,一定要重启软件!因为这个路径是在软件启动的时候加载的。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值