15、深入探索BERT模型家族

深入探索BERT模型家族

1. 特殊BERT令牌代码示例

BERT使用特殊令牌 [CLS] 表示文本字符串的开始，使用 [SEP] 分隔句子。例如，对于句子 “Pizza with four toppings and trimmings.”，其BERT分词结果为：

['[CLS]', 'pizza', 'with', 'four', 'topping', '##s', 'and', 'trim', '##ming', '##s', '.', '[SEP]']

以下是展示如何显示BERT中特殊令牌的代码 bert_special_tokens.py ：

import transformers
import numpy as np
# instantiate a BERT tokenizer and model:
print("creating tokenizer...")
tokenizer = transformers.BertTokenizer.from_pretrained('bert-base-uncased', do_lower_case=True)
print("creating model...")
nlp = transformers.TFBertModel.from_pretrained('bert-base-uncased')
# hidden layer with embeddings:
text1      = "cell phone"
input_ids1