【大模型】return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) TypeError: not a string

最新推荐文章于 2024-11-01 22:02:00 发布
最新推荐文章于 2024-11-01 22:02:00 发布
阅读量566 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大语言模型 文章标签： LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zengNLP/article/details/137075209
文章讲述了在使用Llama模型时遇到的TypeError，原因是模型下载不完整。作者提供了解决方案，即从HuggingFace官网重新下载所有文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【大模型】llama模型加载报错 TypeError: not a string

llama模型：openlm-research/open_llama_3b_v2

加载代码：

from transformers import LlamaTokenizer

model_path = 'openlm-research/open_llama_3b_v2'
tokenizer = LlamaTokenizer.from_pretrained(model_path)

报错信息

return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) 
TypeError: not a string

原因

模型下载不完整导致的错误

修正方法

重新到官网下载模型
我这里到：https://huggingface.co/openlm-research/open_llama_3b_v2/tree/main 重新下载了所有文件。

LLaMA模型加载报错_sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) TypeError: not a string
artistkeepmonkey的博客
05-03 3514
后面的ziqingyang/chinese-llama-plus-lora-7b是huggingface名字。我估计这里可能是个BUG，并没有深究，有知道的小伙伴评论告知一下。lora_model_path这一项不是string类型。也就是在斜杠前面加了反斜杠，就不报错了。
NLP - sentencepiece
AI工程化、开源分享、文档翻译、代码笔记
03-21 5141
一、关于 sentencepiece 二、安装 1、Python 模块 2、从 C++ 源构建和安装 SentencePiece 命令行工具 3、使用 vcpkg 构建和安装 4、从签名发布的 wheels 下载和安装 SentencePiece 三、命令行使用 1、训练模型 2、将原始文本编码为 sentence pieces/ids 3、编码 sentence pieces/ids 到原始文本 4、端到端示例 End-to-End Example 5、导出词汇表 Export vocabulary li
LLM - LLama 模型读取报错 TypeError: not a string
BITDDD小栈
08-01 4261
读取 LLama2 模型时报错TypeError: not a string。
TypeError: not a string
qq_35608850的博客
09-14 989
self.tokenizer = AutoTokenizer.from_pretrained(args.bert.location, use_fast=False)，把use_fast=False删掉，改为self.tokenizer = AutoTokenizer.from_pretrained(args.bert.location）
return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) TypeError: not a string
qq_50499245的博客
09-22 2065
原因：包没有完全下载，少了spiece.model。
LlamaTokenizer.from_pretrained 报错 TypeError: not a string
日常学习与专研的记录
07-29 1103
本文介绍如何解决，LlamaTokenizer.from_pretrained 报错 "TypeError: not a string"
【大模型】Llama3-8B报错_sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) TypeError:not a string
Zack的博客
06-04 905
【大模型】Llama3-8B报错_sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) TypeError:not a string
D:\PythonProject\deepseekai\.venv\Scripts\python.exe D:\PythonProject\deepseekai\train_weather_model.py sentencepiece 已安装: 0.2.0 创建/下载: tokenizer.model 下载失败: 401 Client Error: Unauthorized for url: https://huggingface.co/deepseek-ai/deepseek-llm-1.3b-base/resolve/main/tokenizer.model 无法下载 tokenizer.model, 请手动下载 Traceback (most recent call last): File "D:\PythonProject\deepseekai\train_weather_model.py", line 134, in <module> tokenizer = LlamaTokenizer.from_pretrained( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\transformers\tokenization_utils_base.py", line 2025, in from_pretrained return cls._from_pretrained( ^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\transformers\tokenization_utils_base.py", line 2278, in _from_pretrained tokenizer = cls(*init_inputs, **init_kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\transformers\models\llama\tokenization_llama.py", line 171, in __init__ self.sp_model = self.get_spm_processor(kwargs.pop("from_slow", False)) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\transformers\models\llama\tokenization_llama.py", line 198, in get_spm_processor tokenizer.Load(self.vocab_file) File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\sentencepiece\__init__.py", line 961, in Load return self.LoadFromFile(model_file) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\PythonProject\deepseekai\.venv\Lib\site-packages\sentencepiece\__init__.py", line 316, in LoadFromFile return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ TypeError: not a string Process finished with exit code 1
最新发布
06-13
# 使用简单的词汇表创建SentencePiece模型 with open(os.path.join(model_path, "vocab.txt"), "w", encoding="utf-8") as f: # 基础词汇表（可根据需要扩展） vocab = ["<unk>", "<s>", "</s>", "<pad>", "天气...
python3安装第三方包报错11002_Python sentencepiece包_程序模块 - PyPI - Python中文网
weixin_39603327的博客
12-11 1441
语句条python包装器带有swig的sentencepiece的python包装器。本模块对Sentencepiece：：Sentencepieceprocessor类进行了以下修改：编码和解码方法分别被重新定义为encodesID、encodesPieces、decodeID和decodePieces。用SentencePiecetTrainer支持模型训练。训练方法。不支持SentenceP...
【问题解决】Linux下载安装sentencepiece库异常记录一次sentencepiece 安装错误的解决方案
昔明日
06-05 1034
我本意是想安装allennlp库，但是卡在sentencepiece长时间不动，所以又去找了下载安装sentencepiece的方法，结果安装sentencepiece库也有问题。
【深度学习总结_03】使用弱智吧数据微调LLama3+自我认知训练
qq_41234663的博客
06-26 1559
使用弱智吧数据微调LLama3+自我认知训练
Transformers 4.37 中文文档（二十九）
龙哥盟
06-23 1335
原文：huggingface.co/docs/transformers DeBERTa-v2 原始文本：huggingface.co/docs/transformers/v4.37.2/en/model_doc/deberta-v2 概述 DeBERTa 模型是由 Pengcheng He、Xiaodong Liu、Jianfeng Gao、Weizhu Chen 在DeBERTa: Decoding-enhanced BERT with Disentangled Attention中提出的，它基于
Huggingface模型下载运行bug
m0_56618345的博客
11-01 1145
Huggingface模型下载运行bug
ModuleNotFoundError: No module named ‘sentencepiece‘
qq_41737845的博客
02-28 6391
是一个 Python 第三方模块，用于自然语言处理（NLP）任务中的分词和词嵌入。要解决这个错误，需要安装。模块时的问题，请确保你的 Python 环境正确设置，并且已经成功安装了。这个错误提示说明在当前的 Python 环境中缺少名为。在安装成功后，你可以在 Python 程序中导入。你可以通过以下命令使用 pip 安装。的模块，导致 Python 找不到该模块。
关于TypeError: threshold must be numeric解决办法
YNNSD的博客
11-12 2220
将np.set_printoptions(threshold='nan') 改为： import sys #导入sys包 np.set_printoptions(threshold=sys.maxsize) 运行结果结果为：
[linux] 超长文本训练tokenizer报错 训练数据格式不正确
心宝的博客
11-09 410
Traceback (most recent call last): File "/xxxtext_generation_train/preprocess/token_preprocess/train_tokenizer.py", line 170, in spm.SentencePieceTrainer.train( File "/usr/local/lib/python3.10/dist-packages/sentencepiece/__init__.py", line
sentencePiece入门小结
热门推荐
<p>专注挖坑</p>
06-10 1万+
环境搭建 1.安装C++源码版 step1 安装环境依赖 ubuntu系统： sudo apt-get install cmake build-essential pkg-config libgoogle-perftools-dev centos系统： sudo yum install cmake pkg-config gperfools-devel 注：如果之前安装过cmake，但是3.1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

szZack

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值