keras-bert学习

最新推荐文章于 2025-06-25 13:19:18 发布

是晨星啊

最新推荐文章于 2025-06-25 13:19:18 发布

阅读量5.6k

点赞数 1

分类专栏： Keras

Keras 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了BERT模型中Token字典的构建过程，包括填充标记、未登录词标记、分类标记、分隔符标记及掩蔽标记的定义与使用。通过实例展示了如何根据句子对构建完整的Token字典，并探讨了字典中Token的动态添加机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TOKEN_PAD = ''                   # Token for padding               填充标记
TOKEN_UNK = '<UNK>'              # Token for unknown words         未登录词标记
TOKEN_CLS = '<CLS>'              # Token for classification        分类标记
TOKEN_SEP = '<SEP>'              # Token for separation            分隔符标记
TOKEN_MASK = '<MASK>'            # Token for masking               掩蔽标记

token_dict = get_base_dict()
print(token_dict)
# {'': 0, '<UNK>': 1, '<CLS>': 2, '<SEP>': 3, '<MASK>': 4}
# len(token_dict) = 5

example01：
sentence_pairs = 
[
    [['all', 'work', 'and', 'no', 'play'], ['makes', 'jack', 'a', 'dull', 'boy']],
    [['from', 'the', 'day', 'forth'], ['my', 'arm', 'changed']],
    [['and', 'a', 'voice', 'echoed'], ['power', 'give', 'me', 'more', 'power']]
]

for pairs in sentence_pairs:
    for token in pairs[0] + pairs[1]:
        if token not in token_dict:
            token_dict[token] = len(token_dict)   # 未添加 token 前，token_dict 字典的长度
token_list = list(token_dict.keys())              # 用于随机选择一个单词
print(token_list)
# ['', '<UNK>', '<CLS>', '<SEP>', '<MASK>', 'all', 'work', 'and', 'no', 'play', 'makes', 'jack', 'a', 'dull', 'boy', 'from', 'the', 'day', 'forth', 'my', 'arm', 'changed', 'voice', 'echoed', 'power', 'give', 'me', 'more']
print(list(token_dict.values()))
# [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27]