隐马尔可夫模型
隐马尔可夫模型是应用于标记问题的统计学模型,其描述由隐藏的马尔可夫链随机生成观测序列的过程,属于生成模型。
基本概念
一、定义
隐马尔可夫模型:是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机的生成不可预测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。
隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定,其形式定义如下:
设Q是所有可能状态的集合,V是所有可能的观测的集合。
Q={q1,q2,⋯,qN},V={v1,v2,⋯,vM}Q={q1,q2,⋯,qN},V={v1,v2,⋯,vM}
其中,N是可能的状态数,M是可能的观测数。
I是长度为T的状态序列,O是对应的观测序列。
I=(i1,i2,⋯,iT),O=(o1,o2,⋯,oT)I=(i1,i2,⋯,iT),O=(o1,o2,⋯,oT)
A是状态转移概率矩阵:A=[aij]N×NA=[aij]N×N
其中,aij=P(it+1=qj|it=qi),i=1,2,⋯,N;j=1,2,⋯,Naij=P(it+1=qj|it=qi),i=1,2,⋯,N;j=1,2,⋯,N
B是观测矩阵:B=[bj(k)]N×NB=[bj(k)]N×N
其中,bj(k)=P(ot=vk|it=qj),k=1,2,⋯,M;j=1,2,⋯,Nbj(k)=P(ot=vk|it=qj),k=1,2,⋯,M;j=1,2,⋯,N
初始状态概率向量为π=(πi)π=(πi)
其中,πi=P(i1=qi),i=1,2,⋯,Nπi=P(i1=qi),i=1,2,⋯,N
有了以上的定义,我们可以说,隐马尔可夫模型由初始状态概率向量,状态转移概率矩阵A和观测概率矩阵B决定,即:λ=(A,B,π)λ=(A,B,π)
状态转移概率矩阵与初始状态概率向量确定了隐藏的马尔可夫链,生成了不可预测的状态序列,观测概率矩阵B确定了如何从状态生成观测,与状态序列综合确定了如何产生观测序列。
从定义可知,隐马尔可夫模型做了两个基本的假设:
(1)齐次马尔可夫假设:隐藏的马尔可夫链在任意时刻t的状态只依赖其前一时刻的状态,与其他时刻的状态及观测无关,也与时刻t无关
(2)观测独立性假设:任意时刻的观测只依赖于该时刻的马尔可夫链的状态,与其他观测及状态无关。
二、观测序列的生成
输入:λ=(A,B,π)λ=(A,B,π)
输出:O=(o1,o2,⋯,oT)O=(o1,o2,⋯,oT)
(1)按照初始状态分布产生状态i
(2)令t=1
(3)按照状态itit 的观测概率分布生成otot
(4)按照状态itit 的状态转移概率分布生成状态it+1it+1
(5)令t=t+1;如果t<Tt<T,转到(3),否则停止
三、隐马尔可夫模型的基本问题
1、概率计算问题:规定模型与观测序列,计算在模型下某个观测出现的概率
2、学习问题:已知观测序列,估测模型参数
3、预测问题:已知模型和观测序列,求最有可能的对应的状态序列