无网络时使用AutoTokenizer.from_pretrained

最新推荐文章于 2025-10-11 11:25:58 发布
原创 最新推荐文章于 2025-10-11 11:25:58 发布 · 4.7k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #transformer

在无外网连接的集群环境中，直接从链接下载预训练模型不可行。通过设置`cache_dir`将模型缓存到本地目录如`./cache3`，原本期望能避免网络错误，但实际上仍出现`ConnectionError`。解决方法是在加载模型配置时添加`local_files_only=True`参数，确保只使用本地文件，避免尝试连接远程资源。此方法同样适用于配置文件加载。

最近集群不通外网，导致诸多不便无法直接从链接下载
一开始的想法是先下到cache里然后传上去

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased",cache_dir='./cache3')

但发现不行，传了cache3之后还是会报ConnectionError

最后找了一大圈发现
需要加local_files_only = True这句
对config也算同理

config = BertConfig.from_pretrained("bert-base-uncased",cache_dir='./config_cache',local_files_only=True)
z_m_zzmz
关注
“AutoTokenizer.from_pretrained“参数说明
qq_42755230的博客
10-08 8973
AutoTokenizer.from_pretrained参数说明
transformers库的使用【二】tokenizer的使用，模型的保存自定义
一个小菜鸟的博客
04-01 1万+
使用标记器（tokenizer） 在之前提到过，标记器（tokenizer）是用来对文本进行预处理的一个工具。 首先，标记器会把输入的文档进行分割，将一个句子分成单个的word（或者词语的一部分，或者是标点符号） 这些进行分割以后的到的单个的word被称为tokens。 第二步，标记器会把这些得到的单个的词tokens转换成为数字，经过转换成数字之后，我们就可以把它们送入到模型当中。 为了实现这种能把tokens转换成数字的功能，标记器拥有一个词表，这个词汇表是在我们进行实例化并指明模型的时候下载
Transformers包常用函数讲解
最新发布
Abraham Ben
10-11 361
然后将一个shard文件文件的权重加载进模型中。然后通过Json load成dict然后返回。所以AutoTokenizer得配置文件为。最后就是返回一个tokenizer对象。然后通过以下真正加载参数并支持量化。, 然后得到以下参数初始化类。除此之外的其他参数在。
Huggingface transformers 镜像使用，本地使用，tokenizer参数介绍
qq_40671063的博客
07-20 2万+
Huggingface transformers 镜像使用，本地使用，tokenizer参数介绍
python diffusers StableDiffusionXLPipeline 离线使用
09-14 3793
Diffusers 里代码写死了会访问 huggingface，需要手工改掉。local_files_only是让取本地缓存，这个缓存在当前用户文件夹下。需要自己下载github里的文件，找地方放，然后替换链接。把能翻墙的机器里的缓存，拷贝到不能翻墙的机器里。我这下载后放到项目 models 里。
AutoTokenizer.from_pretrained 与BertTokenizer.from_pretrained
vivi_cin的博客
03-23 2513
都是 Hugging Face 的 Transformers 库中用于加载预训练模型的 tokenizer 的方法，但它们之间有一些区别。总的来说，如果你想要一个通用的方法来加载任何预训练模型的 tokenizer，你可以使用。但如果你确定你要加载的模型是基于 BERT 结构的，那么。也是一个不错的选择。
AutoTokenizer.from_pretrained报错TypeError: expected string or bytes-like object
Hansdas的博客
06-24 851
网断了，连上网就好了。
关于AutoTokenizer.from_pretrained-----deepseek的回答
溯源的专栏
02-12 777
是一个非常方便的工具，可以轻松加载和使用各种预训练模型的 tokenizer，适用于多种 NLP 任务。
automodel.from_pretrained 使用本地缓存模型（huggingface.co 链接报错时可用）
消极的人永远是对的，积极的人选择勇往直前
05-09 2万+
huggingface.co 链接报错时可用
LlamaTokenizer.from_pretrained 报错 TypeError: not a string
日常学习与专研的记录
07-29 1268
本文介绍如何解决，LlamaTokenizer.from_pretrained 报错 "TypeError: not a string"
AutoTokenizer.from_pretrained怎么使用
07-29
`AutoTokenizer.from_pretrained` 是 Hugging Face 提供的 Transformers 库中的一个常用方法，用于自动加载预训练模型对应的分词器（Tokenizer）。该方法支持多种模型类型，包括但不限于 BERT、GPT、RoBERTa、...
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
热门推荐
luckyuxuan的博客
10-25 4万+
Hugging Face Transformers 之 AutoConfig 、AutoTokenizer、AutoModel from_pretrained()参数详解
使用transformers库的AutoTokenizer.from_pretrained()报错
FancyLeo的博客
03-27 515
检查transformers库依赖安装是否完整。
Bert模型from_pretrained报网络错误解决办法
weixin_44709340的博客
12-27 2546
第三步：放入同一个文件夹下，命名为你的模型名字，比如我的就是“distilbert-base-uncased”，并且放在代码所在。，然后下载下边的文件（应该是区分TensorFlow和pytorch版本的，不过以防万一，而且文件总共不算很大，我就都下载了）第一步：搜索你要加载的模型，比如我要加载的是distilbert-base-uncased模型。进入Hugging Face官网，下载所需模型到本地，再加载。现在运行原代码就不会报错了。
from_pretrained 做了啥
03-22 3363
transformers的三个核心抽象类是Config, Tokenizer和Model，这些类根据模型种类的不同，派生出一系列的子类。构造这些派生类的对象也很简单，transformers为这三个类都提供了自动类型，即AutoConfig, AutoTokenizer和AutoModel。三个AutoClass都提供了from_pretrained方法，这个方法则一气完成了模型类别推理、模型文件列表映射、模型文件下载及缓存、类对象构建等一系列操作。
AI学习-源码解析-AutoTokenizer
xm415的专栏
04-14 1427
源码解析-AutoTokenizer
加载Tokenizer和基础模型的解析及文件介绍：from_pretrained到底加载了什么？
阿正的梦工坊
12-28 4877
在使用Hugging Face的transformers库加载Tokenizer和基础模型时，涉及到许多文件的调用和解析。
python-pytorch基础之bert模型分词器tokenizer填充的两种方法
随笔
08-11 918
python-pytorch基础之bert模型分词器tokenizer填充的两种方法
大模型AutoTokenizer.from_pretrained 文件下载 存储 位置
cuisidong1997的博客
10-17 1195
在Windows上，默认目录由C:\Users\username提供。缓存\huggingface\transformers。在大多数情况下，加载的模型都保存在transformers缓存目录中。通过设置参数cache_dir，您可以在每次加载模型时指定缓存目录。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值