【Linux】bert-base-cased 不在缓存需要从 s3 上下载的问题

本文介绍如何手动下载bert-base-cased模型的三个关键文件,包括pytorch_model.bin、vocab.txt和config.json,并提供下载链接和校验etag。重点在于理解模型结构和安装步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

CONTENT

手动下载,更名。

位置

/home/xxxx/.cache/torch/pytorch_transformers

在这里插入图片描述

bert-base-cased

下载地址文件名同名 json 文件内容
https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-pytorch_model.bin35d8b9d36faaf46728a0192d82bf7d00137490cd6074e8500778afed552a67e5.3fadbea36527ae472139fe84cddaa65454d7429f12d543d80bfc3ad70de55ac2{“url”: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-pytorch_model.bin”, “etag”: "“7b738972fafaf06a1155705e209edfa4-52"”}
https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-vocab.txt5e8a2b4893d13790ed4150ca1906be5f7a03d6c4ddf62296c383f6db42814db2.e13dbb970cb325137104fb2e5f36fe865f27746c6b526f6352861b1980eb80b1{“url”: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-vocab.txt”, “etag”: "“bb6ca9b42e790e5cd986bbb16444d0e0"”}
https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-config.jsonb945b69218e98b3e2c95acf911789741307dec43c698d35fad11c1ae28bda352.9da767be51e1327499df13488672789394e2ca38b877837e52618a67d7002391{“url”: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-cased-config.json”, “etag”: "“b9c1443ab1e5ac2d819050f6d48d12d0"”}
### 下载和安装 `bert-base-multilingual-cased` 模型 为了下载并安装 `bert-base-multilingual-cased` 模型,需遵循特定步骤以确保环境配置正确无误。 #### 安装 Hugging Face Transformers 库 首先,需要安装Hugging Face的Transformers库。这可以通过pip命令完成: ```bash pip install transformers ``` #### 使用 Python 脚本加载模型 通过Python脚本可以直接从Hugging Face Model Hub加载所需的BERT多语言区分大小写的预训练模型。下面是一个简单的例子展示如何实现这一点: ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased') model = BertModel.from_pretrained('bert-base-multilingual-cased') ``` 这段代码会自动处理模型及其配套资源(如分词器)的下载,并将其缓存到本地环境中以便后续快速访问[^1]。 #### 手动下载模型文件 如果希望手动获取这些文件,则可以从[Hugging Face官网](https://huggingface.co/bert-base-multilingual-cased)找到对应的页面,点击进入后可以看到具体的文件列表,包括但不限于`config.json`, `pytorch_model.bin`, 和 `vocab.txt`. 将这三个主要组件保存至指定目录下即可[^2]. 对于具体路径的选择可以根据个人需求设定;例如,在Linux系统上可以选择如下位置存储模型文件: `\home/work/transformers_file/bert-base-multilingual-cased/`. #### 验证安装成功与否 最后一步是验证是否已经成功安装了这个模型。可以在Python交互式解释器里运行上述提到的两行代码片段来测试能否正常实例化对象而不抛出异常。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值