【大模型】return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) TypeError: not a string

szZack

于 2024-03-27 13:55:21 发布

阅读量566

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大语言模型文章标签： LLM

本文链接：https://blog.youkuaiyun.com/zengNLP/article/details/137075209

43 篇文章

订阅专栏

文章讲述了在使用Llama模型时遇到的TypeError，原因是模型下载不完整。作者提供了解决方案，即从HuggingFace官网重新下载所有文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

llama模型：openlm-research/open_llama_3b_v2

加载代码：

from transformers import LlamaTokenizer

model_path = 'openlm-research/open_llama_3b_v2'
tokenizer = LlamaTokenizer.from_pretrained(model_path)

return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) 
TypeError: not a string

模型下载不完整导致的错误

重新到官网下载模型
我这里到：https://huggingface.co/openlm-research/open_llama_3b_v2/tree/main 重新下载了所有文件。