Encoding.word_ids()

SmartDemo

已于 2023-04-03 17:08:39 修改

阅读量233

点赞数

文章标签：开发语言

于 2023-03-31 14:41:08 首次发布

本文链接：https://blog.youkuaiyun.com/SmartDemo/article/details/129879786

版权

该文展示了如何利用transformers库的AutoTokenizer对文本进行编码，具体操作涉及加载预训练模型google/bigbird-roberta-base，保存tokenizer，并对输入字符串ilovingyouHaarde进行编码和解码。过程中提到了wordPiece分词方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Encoding资料

Encoding

二、代码

from transformers import AutoTokenizer

DOWNLOADED_MODEL_PATH = 'model'
tokenizer = AutoTokenizer.from_pretrained('google/bigbird-roberta-base')
tokenizer.save_pretrained('model')

encoding = tokenizer("i loving you Haarde")

print(encoding['input_ids'])
print(tokenizer.decode(encoding['input_ids']))

print(encoding.word_ids())
print(tokenizer.convert_ids_to_tokens(encoding['input_ids']))

三、输出

[65, 1413, 14543, 446, 9499, 45194, 66]

[CLS] i loving you Haarde[SEP]

[None, 0, 1, 2, 3, 3, None]
['[CLS]', '▁i', '▁loving', '▁you', '▁Ha', 'arde', '[SEP]']

这一过程使用了wordPiece

参考文献：保姆级教程，用PyTorch和BERT进行命名实体识别