马尔科夫过程

1. 全概率公式

用途说明：对复杂事件A的概率求解简化为各情况下发生简单事件的概率之和
定义：完备事件组B1、B2、B3…….Bn，事件相互独立，且任意P(Bi)>0，则事件A发生的概率：
P(A) = P(A|B1)P(B1) + P(A|B2)P(B2) + … + P(A|Bn)P(Bn)
or
p(A)=P(AB1)+P(AB2)+…+P(ABn)).(其中A与Bn的关系为交)

2. 马尔科夫过程

• 定义：马尔科夫链是一种随机事件序列，未来的取值只与当前取值有关，与历史取值无关，是一种离散型的随机过程。

• 状态变量表示：
  时刻 t 的状态 i ： Xt = i ( i = 1,2,3……N，t = 1,2,3……N)

• 状态转移概率：
  a. 状态集：E1，E2 ……En
  状态随机且相互独立，每个时刻只能处于一种状态，每个状态都具有 n 个转向
  b. 状态 i 到状态 j 的转移概率表示：
  Pij = P(Ej|Ei) = P(Ei->Ej) = P(Xn+1=j|Xn=i)
  c. 条件概率就是状态转移概率
  P(A|B)： 由状态 B 向状态 A 转移的概率
  d. 状态转移概率矩阵
  
  
  

• 多步状态转移概率矩阵

• a. 定义：t0 时刻的状态 i 经过