马尔可夫链

1. 极限概率：不可约的遍历的马尔可夫链存在极限概率。

    π_j=Σπ_iP_ij，Σπ_j=1。

  若将π和P以矩阵方式表示，因极限概率存在，必有πP=π。

2. 从常返态不可能到达暂态。假定可以从常返态到达暂态，那么从暂态总是可以回到常返态（否则就不是常返态），于是常返态和暂态将互通，这是矛盾的。

    这进一步说明什么是暂态：一旦从某个暂态来到常返态，该暂态及同类态（？）将永不能返回。