【大模型】return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) TypeError: not a string

文章讲述了在使用Llama模型时遇到的TypeError,原因是模型下载不完整。作者提供了解决方案,即从HuggingFace官网重新下载所有文件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

【大模型】llama模型加载报错 TypeError: not a string

llama模型:openlm-research/open_llama_3b_v2

加载代码:

from transformers import LlamaTokenizer

model_path = 'openlm-research/open_llama_3b_v2'
tokenizer = LlamaTokenizer.from_pretrained(model_path)

报错信息

return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) 
TypeError: not a string

原因

模型下载不完整导致的错误

修正方法

重新到官网下载模型
我这里到:https://huggingface.co/openlm-research/open_llama_3b_v2/tree/main 重新下载了所有文件。

D:\PythonProject\deepseekai\.venv\Scripts\python.exe D:\PythonProject\deepseekai\train_weather_model.py sentencepiece 已安装: 0.2.0 创建/下载: tokenizer.model 下载失败: 401 Client Error: Unauthorized for url: https://huggingface.co/deepseek-ai/deepseek-llm-1.3b-base/resolve/main/tokenizer.model 无法下载 tokenizer.model, 请手动下载 Traceback (most recent call last): File "D:\PythonProject\deepseekai\train_weather_model.py", line 134, in <module> tokenizer = LlamaTokenizer.from_pretrained( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\transformers\tokenization_utils_base.py", line 2025, in from_pretrained return cls._from_pretrained( ^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\transformers\tokenization_utils_base.py", line 2278, in _from_pretrained tokenizer = cls(*init_inputs, **init_kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\transformers\models\llama\tokenization_llama.py", line 171, in __init__ self.sp_model = self.get_spm_processor(kwargs.pop("from_slow", False)) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\transformers\models\llama\tokenization_llama.py", line 198, in get_spm_processor tokenizer.Load(self.vocab_file) File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\sentencepiece\__init__.py", line 961, in Load return self.LoadFromFile(model_file) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\sentencepiece\__init__.py", line 316, in LoadFromFile return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ TypeError: not a string Process finished with exit code 1
最新发布
06-13
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

szZack

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值