无网络时使用AutoTokenizer.from_pretrained

z_m_zzmz

于 2022-04-21 01:16:03 发布

阅读量4.6k

点赞数 6

CC 4.0 BY-SA版权

文章标签： pytorch transformer

本文链接：https://blog.youkuaiyun.com/z_m_zzmz/article/details/124311496

在无外网连接的集群环境中，直接从链接下载预训练模型不可行。通过设置`cache_dir`将模型缓存到本地目录如`./cache3`，原本期望能避免网络错误，但实际上仍出现`ConnectionError`。解决方法是在加载模型配置时添加`local_files_only=True`参数，确保只使用本地文件，避免尝试连接远程资源。此方法同样适用于配置文件加载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近集群不通外网，导致诸多不便无法直接从链接下载
一开始的想法是先下到cache里然后传上去

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased",cache_dir='./cache3')

但发现不行，传了cache3之后还是会报ConnectionError

最后找了一大圈发现
需要加local_files_only = True这句
对config也算同理

config = BertConfig.from_pretrained("bert-base-uncased",cache_dir='./config_cache',local_files_only=True)