Transformer使用RobertaTokenizer时解决TypeError: not NoneType

原创 已于 2022-07-19 22:39:12 修改 · 3.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

于 2022-07-06 14:22:51 首次发布
博客主要讲述使用roberta时遇到的问题。使用bert-base-uncased下载四个文件可正常使用，但用roberta下载相同四个文件会报TypeError。经检查发现，Roberta比Bert多一个文件，重新下载该文件放到目录中可解决问题，路径为包含五个文件的文件夹目录。

问题描述

在使用bert-base-uncased时，只需要下载四个文件链接下载就可以正常使用。但是当我用roberta时下载相同的四个文件会报错TypeError
在这里插入图片描述
运行以下代码不报错，报错的话检查一下文件目录有没有出错

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained(your_file_path)

使用roberta-large时，执行运行以下代码会报错

from transformers import RobertaTokenizer
tokenizer = RobertaTokenizer
最低0.47元/天 解锁文章
OSError: Can‘t load tokenizer for ‘bert-base-uncased‘. If you were trying to load it from
"You are worthy! You can do it!"
06-27 6290
将下载的权重文件，放到某个文件夹下（加载路径的位置）。，Models页面，下载对应的Bert模型的权重。修改权重文件的加载路径 ——页面，因此不能下载相应的权重。解决方法：手动下载文件到本地。函数里面的权重文件路径，必须写。
报错解决MaxRetryError(“HTTPSConnectionPool(host=‘huggingface.co‘, port=443):xxx“)
热门推荐
weixin_43495948的博客
10-03 4万+
那我的机器就是没有数据传输过来，当然前提是你自己的服务器一定要有网络连接（可以尝试ping www.baidu.com来检测自己机器是否有网络）。首先造成这种错误的原因主要是因为你的服务器没有办法连接huggingface的原因，你可以直接在你的服务器上尝试能否直接ping。就可以运行你的代码了，但是这里运行的时候有个小问题，
transformers 加载模型时报错
qq_34373543的博客
12-18 9166
transformers加载模型时报错 安装transformers后，拿下面的代码测试： from transformers import AutoTokenizer, TFAutoModel tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") model = TFAutoModel.from_pretrained("bert-base-uncased") inputs = tokenizer("Hello world!", ret
解决方案：TypeError：float() argument must be a string or a number，not “NoneType”
weixin_42504788的博客
09-24 1762
解决方案：TypeError：float() argument must be a string or a number，not “NoneType”
Transformers - Roberta(huggingface)
qq_40671063的博客
08-23 4828
Transformers - Roberta(huggingface)
TypeError: 'NoneType' object is not subscriptableswin transformer
02-20
当遇到 `'NoneType' object is not subscriptable` 的错误时，意味着尝试对值为 `None` 的对象执行索引操作。这种类型的错误通常发生在变量预期应包含某种可迭代的数据结构（如列表、字典），但实际上却包含了 `None...
transformer中报错：TypeError: unsupported operand type(s) for ** or pow(): 'NoneType' and 'int'
最新发布
11-22
在Transformer中出现 `TypeError: unsupported operand type(s) for ** or pow(): 'NoneType' and 'int'` 错误，通常是因为代码中尝试对 `None` 值进行幂运算（`**`），而 `None` 类型不支持这种操作。以下是一些...
TypeError: torchvision.transforms.transforms.RandomCrop is not a Module subclass
weixin_42863990的博客
10-12 2457
transforms = torch.nn.Sequential( transforms.RandomCrop(224), transforms.Normalize((0.25516997,0.25296235,0.24626788), (0.28230251,0.23966205,0.24667897)) ) scripted_transforms = torch.jit.script(transforms) 338 if not isinstance(modu
TypeError: Failed to convert object of type ＜class ‘list‘＞ or ＜class ‘tuple＞ to Tensor.
qq_37808565的博客
08-11 3124
这几天整理vision transformer 的代码，遇到这个问题，尝试了各种方法，最终得到解决，特此记录一下，也为了帮助遇到同样问题的同学。 TypeError: Failed to convert object of type <class ‘list’> to Tensor. Contents: [None, 144, 64]. Consider casting elements to a supported type. TypeError: Failed to convert obje
python not NoneType报错原因解析
优快云python123的博客
04-23 1045
新增 return tss，通过返回的值让调用的方法去调用，再次运行效果成功。原因：Excel_page().yaml_method() 未返回参数值。
transformers加载roberta实现序列标注任务
weixin_42223207的博客
07-04 1715
transformers加载roberta实现序列标注任务 最近在断断续续的学习hugging face的transformers，主要是运用transformers加载各种预训练模型实现序列标注。本次博客的主要内容是争对加载roberta预训练模型做序列标注任务。大致内容如下： （1）roberta 模型 （2）transformers实现序列标注 roberta模型 争对bert模型，有很多改进版本的模型，roberta模型与bert模型有以下几个不同的地方，其中roberta的全称为Robustly
transformer学习 比赛实战 roberta_large 英文NER
qq_42213591的博客
10-28 2187
roberta_large构建英文Ner模型实战 流程简述：处理训练数据(txt)，以英文文本为例，构建dataloader,构建模型，构建训练评价体系以及模型保存。 难点简介：英文ner过程中，roberta_large的tokenizer.tokenizer会切开英文单词，导致label一一对应并不简便，需要自定函数，与之对应。 依赖库 from transformers import RobertaConfig,RobertaTokenizer,RobertaForTokenClassificat
Transformers的RoBERTa model怎么使用word level的tokenizer
qysh123的专栏
08-24 2116
不得不说，和上面相比，差别有点大啊（例如：tokenizer = Tokenizer(WordLevel())，以及必需要加tokenizer.pre_tokenizer = Whitespace()这一行）。其实这个问题应该是很好解决的，想不到竟然花了3个多小时。我去，这个原因我也是醉了，所以最后手动建立一个空白的merges.txt文件，然后就可以正常保存和使用这个tokenizer了。从之前说的RoBERTa的示例代码可以知道， 需要再重新加载的tokenizer需要在一个文件夹下，所以这个也不行。
c++ 返回空对象_理解Python中的NoneType对象
weixin_39636987的博客
11-27 473
编译：老齐与本文相关的图书推荐：《跟老齐学Python：轻松入门》本书适合零基础的学习者，书中详细而全面地讲述了Python的基本对象类型、语句、函数、对象和类、标准库和常用模块等知识。本书还特别强调学习编程语言的方法，强调“授人以鱼”的同时“授人以渔”。在C、Java等类型的语言中，都有null，它常常被定义为与0等效。但是，在Python中并非如此。Python中用关键词None表征...
Python中有哪些奇怪的“天坑”？
09-08 641
首先，一些关于字符串的“基本”操作——1.>>>a="some_string">>>id(a)140420665652016&...
OSError: Unable to load weights from pytorch checkpoint file
g1655的博客
04-13 1万+
使用transformers库的from_pretrained()函数时出错 在运行这段代码时 tokenizer = BertTokenizer.from_pretrained("bert-base-uncased") 然后报如图的错误 图中错误即OSError: Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, plea
【部署大模型的准备工作】
qq_51070956的博客
02-05 2079
有个参数改成下载token的模型。先从huggingface官网。下载所需要的Bert模型（搜索。
OSError: Can‘t load tokenizer for ‘bert-base-uncased‘.
CoderXiu的博客
10-28 6360
模型调用bert时，由于huggingface有墙导致模型无法下载。OSError: Can't load tokenizer for 'bert-base-uncased'. If you were trying to load it from 'https://hugging。查看报错所在的文件具体位置，以及对应引用模型的位置。与之相同，通过设置环境变量也可以，以linux为例。中的内容换成模型所在文件夹的路径，建议填写绝对路径。镜像运行脚本，从而下载对应bert模型权重。
Can‘t load tokenizer for ‘bert-base-uncased‘无法在transformer库里下载模型或者tokenizer
weixin_45813075的博客
06-20 2301
解决方法HF_ENDPOINT=https://hf-mirror.com python +执行命令。即可解决没必要乱升级和降级transformer库。
评论 8
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值