马尔科夫过程

马尔可夫过程

基本概念：

三个构成要素：1、离散时间；2、状态空间；3、转移矩阵

特征：只要时刻n的马尔科夫链状态是i，不论过去发生了什么，也不论马尔科夫链是如何到达状态i的，下一刻n+1转移到下一个状态的概率一定是$p_{ij}$

转移n步的代码实现：

# -*- coding: utf-8 -*-
# @Use     : 
# @Time    : 2022/8/28 22:00
# @FileName: Markov.py
# @Software: PyCharm

import numpy as np


A = np.array([[0.7, 0.2, 0.1],
              [0.3, 0.5, 0.2],
              [0.2, 0.4, 0.4]])


def get_matrix_pow(matrix, n):
    """
    计算矩阵指数
    @param matrix:
    @param n:
    """
    ret = matrix
    for i in range(n):
        ret = np.dot(ret, A)
    return ret


if __name__ == '__main__':

    ret = get_matrix_pow(A, 10)
    print(ret)