中文分词笔记之二:隐马尔科夫模型

本文介绍隐马尔科夫模型的基本概念及其在中文分词中的应用。文章解释了模型中的两组状态——隐藏状态与观察状态,以及三个关键矩阵:初始概率向量、状态转移矩阵和发射概率矩阵。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这里以中文分词为例:

        在正常的马尔可夫模型中,状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的,但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一概率分布。因此输出符号的序列能够透露出状态序列的一些信息。


隐马尔科夫模型一共有两组状态,三个矩阵:
        隐藏状态:一个系统的(真实)状态,可以由一个马尔科夫过程进行描述,表示为:w,w为词。
        观察状态:在这个过程中‘可视’的状态,表示为:C(字符串)。 
        向量:模型在最初隐藏状态的概率(初始概率),表示为:P(w) 
        状态转移矩阵:包含了一个隐藏状态到另一个隐藏状态的概率,表示为:P(wn|wn-1) 
        混淆矩阵:包含了给定隐马尔科夫模型的某一个特殊的隐藏状态,观察到的某个观察状态的概率,也称为发射概率。表示为:P(C|S)=1,C为字符串,S为词串。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值