隐马尔科夫分词（统计概率版）

说明

隐马尔科夫是机器学习算法，用于获取隐状态序列。效果依赖于样本量。尽管如此还是会出现很多不好结果，比如低频词。代码没输出中断

#-*-coding:utf-8-*-
import hmmlearn.hmm as hmm
import numpy as np
#读取分好词的文章，就是个样空格分开的字和词
with open('pku_training.utf8','r',encoding='utf8') as f:
    data=f.read()[1:].split(" ")
#四个状态=》开头s:0,中间m:1,结尾e:2,单个字s:3
pi=np.zeros(4)
A=np.zeros([4,4]) #状态转移矩阵
B=np.zeros([4,65536]) #汉字，一个字符用2个字节表示，也就是2^16
state=2 #初始状态为结尾e
for token in data:
    token=token.strip()
    if not token:
        continue
    if len(token)==1: #统计单个字的状态情况
        pi[3]+=1
        B[3][ord(token)]+=1
        A[state][3]+=1
        state=3
    else:  #统计多个字状态情况
        pi[0]+=1
        A[state][0] += 1
        if len(token)==2:
            A[0][2] += 1
        else:
            A[0][1] += 1
            A[1][2] += 1
            A[1][1] += len(token)-3
        state=2
        B[0][ord(token[0])]+=1
        B[2][ord(token[-1])] += 1
        for i in range(1,len(token)-1):
            B[1][ord(token[i])]+=1
#转换为概率
pi/=np.sum(pi)
for i in range(4):
    A[i]/=np.sum(A[i])
    B[i] /= np.sum(B[i])
model=hmm.MultinomialHMM(n_components=4)
model.startprob_=pi
model.emissionprob_=B
model.transmat_=A
#这个模型并没有训练，利用统计数据预测
if __name__ == '__main__':
    while True:
        x=input("输入句子：>>")
        datas=[]
        for j in x:
            datas.append(ord(j))
        xd=np.asarray(datas).reshape(-1,1)
        #输入要转成两维
        e=model.predict(xd)
        lst=[]
        for i,s in enumerate(e):
            if s==0:
                t=i
            elif s==2:
                lst.append(x[t:i+1])
            elif s==3:
                lst.append(x[i])
        print("输出<<",'/'.join(lst))
        print()

效果：

“”聒噪“”出现了了问题。

分词效果也待改进。