说明
隐马尔科夫是机器学习算法,用于获取隐状态序列。效果依赖于样本量。尽管如此还是会出现很多不好结果,比如低频词。代码没输出中断
#-*-coding:utf-8-*-
import hmmlearn.hmm as hmm
import numpy as np
#读取分好词的文章,就是个样空格分开的字和词
with open('pku_training.utf8','r',encoding='utf8') as f:
data=f.read()[1:].split(" ")
#四个状态=》开头s:0,中间m:1,结尾e:2,单个字s:3
pi=np.zeros(4)
A=np.zeros([4,4]) #状态转移矩阵
B=np.zeros([4,65536]) #汉字,一个字符用2个字节表示,也就是2^16
state=2 #初始状态为结尾e
for token in data:
token=token.strip()
if not token:
continue
if len(token)==1: #统计单个字的状态情况
pi[3]+=1
B[3][ord(token)]+=1
A[state][3]+=1
state=3
else: #统计多个字状态情况
pi[0]+=1
A[state][0] += 1
if len(token)==2:
A[0][2] += 1
else:
A[0][1] += 1
A[1][2] += 1
A[1][1] += len(token)-3
state=2
B[0][ord(token[0])]+=1
B[2][ord(token[-1])] += 1
for i in range(1,len(token)-1):
B[1][ord(token[i])]+=1
#转换为概率
pi/=np.sum(pi)
for i in range(4):
A[i]/=np.sum(A[i])
B[i] /= np.sum(B[i])
model=hmm.MultinomialHMM(n_components=4)
model.startprob_=pi
model.emissionprob_=B
model.transmat_=A
#这个模型并没有训练,利用统计数据预测
if __name__ == '__main__':
while True:
x=input("输入句子:>>")
datas=[]
for j in x:
datas.append(ord(j))
xd=np.asarray(datas).reshape(-1,1)
#输入要转成两维
e=model.predict(xd)
lst=[]
for i,s in enumerate(e):
if s==0:
t=i
elif s==2:
lst.append(x[t:i+1])
elif s==3:
lst.append(x[i])
print("输出<<",'/'.join(lst))
print()
效果:
“”聒噪“”出现了了问题。
分词效果也待改进。