python3 中文分词正向反向最大匹配与HMM 分词

最新推荐文章于 2022-04-15 14:28:19 发布

原创

最新推荐文章于 2022-04-15 14:28:19 发布 · 置顶 · 984 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#中文分词 #HMM #正向匹配 #反向匹配 #规则分词

该博客介绍了如何在Python3中使用正向和反向最大匹配算法以及HMM进行中文分词。作者强调在实际应用中，可以先用词库进行初步分词，再借助HMM优化结果。文中提到HMM模型依赖于状态转移、发射概率和初始概率，并指出在某些场景下，CRF也可以作为替代方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据所需数据集：https://pan.baidu.com/s/15EKb378-ds_5FNF9614Q1g 提取码：ebkd

代码如图

#反向匹配
class LMM():
    def __init__(self, dic_path):
        self.dictionary = set()
        self.maximum = 0
        # 读取词典
        with open(dic_path, 'r', encoding='utf8') as f:
            for line in f:
                line = line.strip()
                if not line:
                    continue
                self.dictionary.add(line)
                if len(line) > self.maximum:
                    self.maximum = len(line)

    def cut(self, text):
        result = []
        index = len(text)
        while index > 0:
            word = None
            for size in range(self.maximum, 0, -1):
                if index - size < 0:
                    continue
                piece = text[(index - size):index]
                if piece in self.dictionary:
                    word = piece
                    result.append(word)
                    index =index-size
                    break
            if word is None:
                index -= 1
        return result[::-1]
#正向匹配
class RMM():
    def __init__(self, dic_path):
        self.dictionary = set()
        self.maximum = 0
        # 读取词典
        with open(dic_path, 'r', encoding='utf8') as f:
            for line in f:
                line = line.strip()
                if not line:
                    continue
                self.dictionary.add(line)
                if len(line) > self.maximum:
                    self.maximum = len(line)

    def cut(self, text):
        result = []
        index = len(text)
        while index > 0:
            w