m0_63620533的博客

原创 马尔可夫过程

1、马尔可夫性质：在给定当前状态的情况下，未来状态的条件概率分布仅依赖于当前状态，而与过去状态无关。换句话说，马尔可夫过程不具备记忆特性，每一步的状态只与前一步的状态有关。概率图表示：概率图展示了状态之间的转移关系。箭头表示转移方向，例如状态1指向状态2表示在下一步里，状态2的概率依赖于前一步状态1的概率。转移矩阵表示：转移矩阵描述了从上一步过渡到当前步的概率。每一步的状态分布可以通过转移矩阵与前一步的状态分布相乘得到。2、马尔可夫链使用离散的时间集合定义，但有些学者允许时间可以取连续的值。