28、从头开始构建分词器与训练模型

从头开始构建分词器与训练模型

1. 分词器词汇表分析

初始词汇表大小为 50257。对输入的 Python 代码运行完整流程，使用 BPE 分词器处理后结果如下：

print(tokenizer(python_code).tokens())
['def', 'Ġsay', '_', 'hello', '():', 'Ċ', 'Ġ', 'Ġ', 'Ġ', 'Ġprint', '("',
'Hello', ',', 'ĠWorld', '!"', ')', 'Ġ#', 'ĠPrint', 'Ġit', 'Ċ', 'Ċ', 'say', '_',
'hello', '()', 'Ċ']

可以看到，BPE 分词器保留了大部分单词，但会将缩进的多个空格拆分为几个连续的空格。这是因为该分词器并非专门针对代码进行训练，主要是在连续空格较少的文本上训练的，所以词汇表中没有专门用于缩进的特定标记。这表明分词器模型不太适合该数据集的领域，解决方法是在目标语料库上重新训练分词器。

2. 训练分词器

2.1 训练步骤

重新训练由 Transformers 提供的字节级 BPE 分词器，使其词汇表更适应 Python 代码，具体步骤如下：
1. 指定目标词汇表大小。
2. 准备一个迭代器，为训练分词器模型提供输入字符串列表。
3. 调用 train_new_from_iterator() 方法。

2.2 训练示例

选择约 1 - 2GB 数据，即约 100,