马尔可夫更新过程与半马尔可夫过程

2019独角兽企业重金招聘Python工程师标准>>>

Markov renewal process；semi-Markov process；Markov renewal counting process；

一、定义

【马尔可夫更新过程】表示转移时期和该时期的状态，是一个二维（状态，时间）随机过程； 【半马尔可夫过程】表示任意时刻马尔科夫更新过程的某个状态，是一个由马尔科夫更新过程产生的一维随机过程，其逗留时间是一般分布的，不具有马尔可夫性，将来取决于现在的状态和在该状态已停留的时间。但在各状态转移时刻({Tn,n>=0}是其更新点，或再生点），具有马尔可夫性。

二、几种随机过程之间的区别和联系

【1、马尔可夫过程和半马尔可夫过程的关系】

在马尔可夫过程中，在每个状态的逗留时间服从指数分布，由于指数分布的无记忆性，故任一时刻t都是更新点，也就是任一时刻都具有马尔可夫性。但是，半马尔可夫过程中，在每个状态的逗留时间是一般分布，因此不是所有时刻都是过程的更新点，而只有状态转移时刻是更新点，所以只有在这些更新点上才具有马尔可夫性。

【2、半马尔可夫过程和连续时间的马尔可夫链的关系】

如果半马尔可夫在各状态的逗留时间都服从指数分布，则得到连续时间马尔可夫链；

P[Xn+1=j，Tn+1-Tn<=t|(X0,T0)，(X1,T1)，...,(Xn=i,Tn)]

=P[Xn+1=j,Tn+