python实现N-Gram 分词算法 (附完整源码)

N-Gram 分词算法简介
N-Gram 分词是一种基于统计的方法，通过计算词频或字符序列的概率来确定最优的分词方式。常见的 N-Gram 类型有：

Unigram (1-gram)： 只考虑单个词的概率。
Bigram (2-gram)： 考虑相邻两个词之间的关系。
Trigram (3-gram)： 考虑相邻三个词之间的关系。

在这个示例中，我们将实现一个基于 Bigram 模型的分词算法。

完整源码

import re
from collections import defaultdict, Counter
import math

class NGramSegmenter:
    def