马尔科夫链的原理

简单记录学习~

马尔科夫链（Markov Chain）是一种数学模型，用于描述系统状态随时间变化的过程。其核心思想是“无记忆性”——即系统的当前状态仅依赖于前一个状态，而与之前的历史状态无关。

定义：

马尔科夫链是一种随机过程，其状态空间是离散的，并且满足马尔科夫性，即未来的状态仅与当前的状态相关，而与过去的状态序列无关。具体来说，对于任意时刻 t 和状态 Xt，马尔科夫链的状态转移满足：

这表示，给定当前状态 Xt，系统的未来状态  Xt+1 与过去的状态（如 Xt−1,Xt−2,…）无关，完全由当前状态决定。

马尔科夫链的基本组成：

1. 状态空间：马尔科夫链可以在一个有限或无