常见分词器tokenizer汇总

常见分词器tokenizer

大模型中的分词器：BPE、WordPiece、Unigram LM、SentencePiece

Byte Pair Encoding (BPE)

OpenAI 从GPT2开始分词就是使用的这种方式，BPE每一步都将最常见的一对相邻数据单位替换为该数据中没有出现过的一个新单位，反复迭代直到满足停止条件。

字节对编码（Byte Pair Encoding, BPE）是一种最初为通用数据压缩设计的算法，在自然语言处理（NLP）中被重新用作一种子词（subword）分词方法。它因用于现代NLP模型，如OpenAI的GPT和其他基于变换器（transformer）的架构而广为人知。

在NLP中使用BPE的主要思想是从大量文本语料库开始，然后迭代地将出现频率最高的字节（或字符）对组合起来，形成新的、更长的字节（或字符）序列。这个过程通过合并常见的字符对来减少整个语料库的复杂性，并且能够捕捉到一些词汇的内部结构，这对于处理词形变化丰富的语言尤其有用。在语言模型的训练过程中，BPE允许模型处理未在训练集中直接见过的单词，因为它可以通过已知的子词单元来构造这些单词。

WordPiece

bert用的是wordpiece, wordpiece算法可以看作是BPE的变种。不同的是，WordPiece基于概率生成新的subword而不是下一最高频字节对。WordPiece算法也是每次从词表中选出两个子词合并成新的子词。BPE选择频数最高的相邻子词合并，而WordPiece选择使得语言模型概率最大的相邻子词加入词表。