sentencePiece 分词原理学习

github代码:https://github.com/google/sentencepiece

训练:

spm_train --input=<input> --model_prefix=<model_name> --vocab_size=8000 --model_type=<type>

model_name为保存的模型为model_name.model,词典为model_name.vocab,词典大小可以人为设定vocab
_size.训练模型包括unigram (default), bpe, char, or word四种类型.

分词:

对于每一句话输入形式为:

echo "我在北京天安门广场" | spm_encode --model=model_2014_bpe.model 

▁我 在 北京 天安门 广场

输入为文件形式:

spm_encode --model=model_2014_bpe.model msr_test.utf8 

即对文件msr_test.utf8分词处理.

bpe分词原理,python代码参考github:https://github.com/rsennrich/subword-nmt

训练:

对于训练本文输入句子,如, 我 在 北京 天安门 广场,我 是 北京 人,提取全部词,即 我,在,北京,天安门,广场,统计每个词出现的频率,代码如下:

def get_vocabulary(fobj, is_dict=False):
    """Read text and return dictionary that encodes vocabulary
    """
    vocab = Counter()
    for line in fobj:
        if is_dict:
            word, count = line.strip().split()
            vocab[word] = int(count)
        else:
            for word in line.split():
                vocab[word] += 1
    return vocab

对词典排序,sorted_vocab = sorted(vocab.items(), key=lambda x: x[1], reverse=True),得到词典和词频为,我2,在1,北京2,天安门1,广场1,是1,人1

对于每个词的相邻字,生成字对,即有,我/w,在/w,北京,京/w,天安,安门,门/w,每个字对(不足两个字的补充结束符/w)的权重为对应的词的频率,这样得到了很多字对及其权重,我/w2,在/w1,北京2,京/w2,天安1,安门1,门/w1,广场1,场/w1,是/w1,人/w1,词典切分对代码如下:

def