transformer库bert的使用(pytorch)

最新推荐文章于 2025-04-17 11:59:13 发布

ffeij

最新推荐文章于 2025-04-17 11:59:13 发布

阅读量8k

点赞数 8

文章标签： python 自然语言处理

本文链接：https://blog.youkuaiyun.com/weixin_43744594/article/details/106170481

版权

本文记录了学习BERT库的过程，包括载入BERT模型，进行分词和映射，理解BERT的输入如input_ids、attention_mask和token_type_ids，以及探讨BERT的输出，特别是all_hidden_states的含义。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

记录一下学习的内容
1.载入bert

from transformers import BertModel, BertTokenizer, BertConfig
#注意文件夹里的配置文件需更名'config'，词表更名为'vocab'
model_name = "../bert-base-uncased/"
# 载入tokenizer
tokenizer = BertTokenizer.from_pretrained(model_name)
#载入配置文件，这句可有可无，直接下一步载入模型自动配置
config = BertConfig.from_pretrained(model_name