OSError: Can‘t load tokenizer for ‘bert-base-chinese‘. If you were trying to load it from ‘https://h

fok waijyun

已于 2024-02-28 10:28:53 修改

阅读量4.4k

点赞数 14

文章标签： bert 人工智能深度学习

于 2024-02-28 10:28:41 首次发布

本文链接：https://blog.youkuaiyun.com/fok_csdn/article/details/136339071

版权

文章讲述了在使用HuggingFaceTransformers时遇到的加载预训练模型失败问题，原因可能是版本过旧或国内网络限制。作者提到手动下载和解决方法，即更新到最新版本或通过某种方式直接连接外网让程序自动下载权重文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

使用hugging face 中的transformers库无法加载预训练模型文件

问题预测

看到网上说是transformers版本太久，但是我的已经是最新版，估计是国内网络无法连上服务器，没法下载权重文件。参考资料：hugging face 无法加载预训练模型：OSError: Can‘t load config for ‘hfl/chinese-macbert-base‘. If you were trying_config.json not found in huggingface hub-优快云博客

解决方案

上述的博客是手动下载的方式，如果有魔法也可以直接连外网，重新运行程序会自动下载（本人的做法）

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fok waijyun

关注关注

14
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

hugging face 无法加载预训练模型：OSError: Can‘t load config for ‘hfl/chinese-macbert-base‘. If you were trying

qsx123432的博客

08-04

4万+

预训练模型下载

OSError: Can‘t load tokenizer for ‘bert-base-chinese’超简单解决方案

m0_73749469的博客

01-02

1235

快速解决OSError错误

参与评论您还未登录，请先登录后发表或查看评论

OSError: Can‘t load tokenizer for ‘roberta-base‘. If you were trying to load it from ‘https://huggin

weixin_44012667的博客

03-28

1108

OSError: Can‘t load tokenizer for ‘bert-base-chinese‘_oserror: can't load tokenizer for 'bert-base-chine-优快云博客。

OSError: Can‘t load tokenizer for ‘bert-base-chinese‘

热门推荐

自己在学习过程中的总结

04-02

1万+

使用`from_pretrained()`函数从预训练的权重中加载模型时报错：OSError: Can't load tokenizer for 'bert-base-chinese'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name.

运行Clip多模态模型报错：OSError: Can‘t load tokenizer for ‘bert-base-chinese‘

liu5z666的博客

03-14

949

然后将net/clip.py的from_pretrained（）部分换为下载了以上模型的绝对路径。继续运行发现存在np版本更新的问题，将utils/utils_aug.py的np.int换为np。1.OSError加载模型文件出现。，将以下三个文件下载到本地。

解决报错：OSError: Can‘t load tokenizer for ‘bert-base-chinese‘.

lnbbbb的博客

11-14

1351

最近复现代码发现这个错误，上网找了好多方法（关防火墙，用魔法，下载到本地（因为是刚下的代码，不知道绝对路径应该填哪里）等），发现都没啥用。库（好像这个库比较旧？现在都用transformers库？但我transformers库一直调不通）② 代码由 from transformers import BertModel。③ 调用bert-base-chinese。使用方法可以自行看看官方文档或问问gpt~

OSError: Can t load tokenizer for bert-base-chinese . If you were trying to load it from

m0_48095841的博客

06-05

1002

所需下载的文件地址：https://pan.baidu.com/s/1trIXxXzqaYXoyJZaSQ11hA?，看网上分析说是连接不上外网导致的，需要科学上网。但使用科学上网也会发生其他类型的错误，索性就直接将模型下载到本地。背景：使用hugging face 中的。

OSError: Can‘t load tokenizer for ‘bert-base-uncased‘. If you were trying to load it from

"You are worthy! You can do it!"

06-27

5569

将下载的权重文件，放到某个文件夹下（加载路径的位置）。，Models页面，下载对应的Bert模型的权重。修改权重文件的加载路径 ——页面，因此不能下载相应的权重。解决方法：手动下载文件到本地。函数里面的权重文件路径，必须写。

安装BLIP2模型时报错：Can‘t load tokenizer for ‘bert-base-uncased‘. If you were trying to load it from ‘h ...

weixin_45840973的博客

09-02

726

安装BLIP2模型报错

【hugging face无法加载预训练模型】OSError：Can‘t load config for ‘./bert-base-uncased‘. If you‘re trying

小白冲鸭的博客

01-09

3719

当运行以下两行代码时，明明已经将下载到本地的bert-base-uncased模型放到了当前py文件的目录下，

OSError: Can‘t load tokenizer for ‘bert-base-chinese‘无法访问https://huggingface.co/models

weixin_42736657的博客

02-02

1589

使用from_pretrained()函数从预训练的权重中加载模型时报错：OSError: Can’t load tokenizer for ‘bert-base-chinese’. If you were trying to load it from ‘https://huggingface.co/models’, make sure you don’t have a local directory with the same name. Otherwise, make sure ‘bert-base-c

解决Can‘t load tokenizer for ‘bert-base-chinese‘.问题

优快云hdlg的博客

09-05

1112

在运行.py命令前加上HF_ENDPOINT=https://hf-mirror.com就可以成功解决。

【debug】OSError: Can‘t load tokenizer for ‘XXX‘. If you were trying to load it from ‘https://huggingf

prinTao的博客

03-06

1万+

本地目录与 ‘openai/clip-vit-large-patch14’ 同名：如果你的本地目录中有一个名为 ‘openai/clip-vit-large-patch14’ 的文件夹，可能会导致加载错误。请检查你的工作目录或者其他相关目录中是否有同名文件夹，并确保没有命名冲突。模型路径错误：确保 ‘openai/clip-vit-large-patch14’ 是正确的模型路径，可以尝试重新确认模型路径是否正确。

bert模型训练，加载保存的模型Can‘t load tokenizer for ‘/content/drive/MyDrive/Colab Notebooks/classification_mode

weixin_38864554的博客

07-20

8297

bert模型加载，报错“Can't load tokenizer for '/content/drive/MyDrive/Colab Notebooks/classification_mode”

OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘.

m0_55434618的博客

04-17

4631

在使用DiAD官方给的代码时候，出现了以下bug： OSError: Can’t load tokenizer for ‘openai/clip-vit-large-patch14’. If you were trying to load it from ‘https://huggingface.co/models’, make sure you don’t have a local directory with the same name. Otherwise, make sure ‘openai/cli

[Debug] OSError: Can‘t load tokenizer for ‘xxx‘....

weixin_45796347的博客

06-03

1292

1. 本地目录与 ‘allenai/scibert_scivocab_uncased’ 同名：如果你的本地目录中有一个名为 ‘allenai/scibert_scivocab_uncased’ 的文件夹，且文件夹下面没有相应的文件，可能会导致加载错误。2. 模型路径错误：确保 'allenai/scibert_scivocab_uncased' 是正确的模型路径，可以尝试重新确认模型路径是否正确。下载所有需要的文件，放到本地文件夹‘allenai/scibert_scivocab_uncased/’ 下。

【代码报错】OSError: Can‘t load tokenizer for ‘emilyalsentzer/Bio_ClinicalBERT‘.

lzxjly的博客

04-09

1000

我们只能在本地下载模型上传到服务器后，再进行加载。，可以看到模型权重。下载自己需要的版本，我需要的是pytorch版本。2. 输入你想要的模型，找到对应的模型。6. 完成上述，假设出现以下错误：检查。4. 最好下载一下另外两个文件。就行（程序会自行搜索文件夹里面。5. 将代码中的模型名字改成。

Traceback (most recent call last): File "E:\比赛\浪潮杯\src\main.py", line 42, in <module> tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "E:\比赛\浪潮杯\.venv\Lib\site-packages\transformers\tokenization_utils_base.py", line 2046, in from_pretrained raise EnvironmentError( OSError: Can't load tokenizer for 'bert-base-chinese'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-chinese' is the correct path to a directory containing all relevant files for a BertTokenizer tokenizer.

最新发布

03-31

### 解决方案当尝试加载 `bert-base-chinese` 的分词器时遇到 `OSError: Can't load tokenizer for 'bert-base-chinese'` 错误，通常是因为本地环境未能成功获取所需的配置文件或权重文件。以下是可能的原因以及对应的解决方法： #### 原因分析 1. **网络连接问题** 如果国内网络无法访问 Hugging Face 的官方模型库（位于 https://huggingface.co/models），可能会导致资源下载失败[^3]。 2. **缓存目录损坏** Transformers 库会将已下载的模型存储到本地缓存中，默认路径通常是 `~/.cache/huggingface/transformers/`。如果该目录中的某些文件被意外删除或损坏，则可能导致加载错误[^1]。 3. **版本兼容性问题** 不同版本的 Transformers 可能对同一模型的支持存在差异。即使安装的是最新版本，仍需确认其与目标模型完全兼容[^2]。 --- #### 解决策略 ##### 方法一：手动指定镜像源地址由于国内网络可能存在访问限制，可以切换至阿里云或其他支持加速的服务作为替代数据源。修改代码如下所示： ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained( "bert-base-chinese", cache_dir="./local_cache", mirror="tuna" ) pretrain_model = BertModel.from_pretrained( "bert-base-chinese", cache_dir="./local_cache", mirror="tuna" ) ``` 通过设置参数 `mirror='tuna'` 或其他可用选项（如 `'djlai'`），能够有效改善下载速度并减少失败概率。 ##### 方法二：离线模式运行提前从可信渠道下载所需的所有必要文件，并将其保存在一个特定位置供程序调用。例如，在执行脚本前完成以下操作： 1. 访问 [Hugging Face Model Repository](https://huggingface.co/bert-base-chinese)，找到对应项目的 Releases 页面； 2. 下载完整的压缩包解压后放置于自定义路径 `/path/to/local/model`; 3. 修改初始化语句指向此静态副本而非远程仓库： ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained("/path/to/local/model") pretrain_model = BertModel.from_pretrained("/path/to/local/model") ``` ##### 方法三：清理旧有缓存重新同步有时残留的历史记录会造成冲突干扰正常流程。建议先清空默认储存区域再重试一次请求过程： ```bash rm -rf ~/.cache/huggingface/ ``` 之后再次启动应用即可触发全新一轮的数据抓取动作。 --- ### 总结上述三种方式各有优劣适配场景不同，请依据实际需求选取最合适的处理手段加以实践验证效果最佳者保留长期运用下去。