Bert下载和使用(以bert-base-uncased为例)

Bert官方github地址:https://github.com/google-research/bert?tab=readme-ov-file
【hugging face无法加载预训练模型】OSError:Can‘t load config for ‘./bert-base-uncased‘. If you‘re trying
如何下载和在本地使用Bert预训练模型
以bert-base-uncased为例:
在github下载:
在这里插入图片描述
在huggingface(https://huggingface.co/bert-base-uncased/tree/main)下载config.json和pytorch_model.bin

在这里插入图片描述
将github下载的解压,并将huggingface下载的config.json和pytorch_model.bin放到解压后的文件夹:
在这里插入图片描述
测试:

from transformers import BertModel,BertTokenizer

BERT_PATH = '上面解压好的文件夹的路径'

tokenizer = BertTokenizer.from_pretrained(BERT_PATH)

print(tokenizer.tokenize('I have a good time, thank you.'))

bert = BertModel.from_pretrained(BERT_PATH)

print('load bert model over')

输出:

['i', 'have', 'a', 'good', 'time', ',', 'thank', 'you', '.']
load bert model over
下载了`bert-base-uncased`模型后,你可以使用Hugging Face的Transformers库来加载使用该模型。以下是一个简单的步骤指南,帮助你开始使用`bert-base-uncased`模型: 1. **安装Transformers库**: 首先,你需要确保已经安装了Transformers库。如果没有安装,可以使用以下命令进行安装: ```bash pip install transformers ``` 2. **加载预训练模型分词器**: 使用Transformers库加载`bert-base-uncased`模型分词器。 ```python from transformers import BertTokenizer, BertModel # 加载预训练的分词器 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') # 加载预训练的BERT模型 model = BertModel.from_pretrained('bert-base-uncased') ``` 3. **预处理文本数据**: 使用分词器将文本数据转换为模型可以接受的格式。 ```python # 示文本 text = "Hello, how are you?" # 分词 inputs = tokenizer(text, return_tensors='pt') ``` 4. **使用模型进行推理**: 将处理后的数据输入模型并获取输出。 ```python # 获取模型输出 outputs = model(**inputs) # 获取最后一层的隐藏状态 last_hidden_states = outputs.last_hidden_state ``` 5. **完整示**: 以下是一个完整的示代码,展示了如何使用`bert-base-uncased`模型进行简单的文本处理。 ```python from transformers import BertTokenizer, BertModel import torch # 加载预训练的分词器模型 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') # 示文本 text = "Hello, how are you?" # 分词 inputs = tokenizer(text, return_tensors='pt') # 获取模型输出 outputs = model(**inputs) # 获取最后一层的隐藏状态 last_hidden_states = outputs.last_hidden_state print(last_hidden_states) ``` 通过以上步骤,你可以开始使用`bert-base-uncased`模型进行各种自然语言处理任务,如文本分类、情感分析等。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GCTTTTTT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值