隐马尔科夫分词(统计概率版)

本文探讨了隐马尔科夫模型在中文分词任务中的应用,通过统计方法构建模型,实现对中文文本的自动切分。讨论了模型的训练过程,包括状态转移矩阵和发射概率矩阵的计算,并展示了实际运行效果,指出存在的问题及改进方向。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

说明

隐马尔科夫是机器学习算法,用于获取隐状态序列。效果依赖于样本量。尽管如此还是会出现很多不好结果,比如低频词。代码没输出中断

#-*-coding:utf-8-*-
import hmmlearn.hmm as hmm
import numpy as np
#读取分好词的文章,就是个样空格分开的字和词
with open('pku_training.utf8','r',encoding='utf8') as f:
    data=f.read()[1:].split(" ")
#四个状态=》开头s:0,中间m:1,结尾e:2,单个字s:3
pi=np.zeros(4)
A=np.zeros([4,4]) #状态转移矩阵
B=np.zeros([4,65536]) #汉字,一个字符用2个字节表示,也就是2^16
state=2 #初始状态为结尾e
for token in data:
    token=token.strip()
    if not token:
        continue
    if len(token)==1: #统计单个字的状态情况
        pi[3]+=1
        B[3][ord(token)]+=1
        A[state][3]+=1
        state=3
    else:  #统计多个字状态情况
        pi[0]+=1
        A[state][0] += 1
        if len(token)==2:
            A[0][2] += 1
        else:
            A[0][1] += 1
            A[1][2] += 1
            A[1][1] += len(token)-3
        state=2
        B[0][ord(token[0])]+=1
        B[2][ord(token[-1])] += 1
        for i in range(1,len(token)-1):
            B[1][ord(token[i])]+=1
#转换为概率
pi/=np.sum(pi)
for i in range(4):
    A[i]/=np.sum(A[i])
    B[i] /= np.sum(B[i])
model=hmm.MultinomialHMM(n_components=4)
model.startprob_=pi
model.emissionprob_=B
model.transmat_=A
#这个模型并没有训练,利用统计数据预测
if __name__ == '__main__':
    while True:
        x=input("输入句子:>>")
        datas=[]
        for j in x:
            datas.append(ord(j))
        xd=np.asarray(datas).reshape(-1,1)
        #输入要转成两维
        e=model.predict(xd)
        lst=[]
        for i,s in enumerate(e):
            if s==0:
                t=i
            elif s==2:
                lst.append(x[t:i+1])
            elif s==3:
                lst.append(x[i])
        print("输出<<",'/'.join(lst))
        print()

效果:

在这里插入图片描述
在这里插入图片描述
“”聒噪“”出现了了问题。

分词效果也待改进。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值