隐马尔科夫分词（统计概率版）

最新推荐文章于 2025-05-24 09:04:11 发布

原创

最新推荐文章于 2025-05-24 09:04:11 发布 · 286 阅读

1 ·

CC 4.0 BY-SA版权

本文探讨了隐马尔科夫模型在中文分词任务中的应用，通过统计方法构建模型，实现对中文文本的自动切分。讨论了模型的训练过程，包括状态转移矩阵和发射概率矩阵的计算，并展示了实际运行效果，指出存在的问题及改进方向。

说明

隐马尔科夫是机器学习算法，用于获取隐状态序列。效果依赖于样本量。尽管如此还是会出现很多不好结果，比如低频词。代码没输出中断

#-*-coding:utf-8-*-
import hmmlearn.hmm as hmm
import numpy as np
#读取分好词的文章，就是个样空格分开的字和词
with open('pku_training.utf8','r',encoding='utf8') as f:
    data=f.read()[1:].split(" ")
#四个状态=》开头s:0,中间m:1,结尾e:2,单个字s:3
pi=np.zeros(4)
A=np.zeros([4,4]) #状态转移矩阵
B=np.zeros([4,65536]) #汉字，一个字符用2个字节表示，也就是2^16
state=2 #初始状态为结尾e
for token in data:
    token=token.strip()