LLM大模型中的基础数学工具——随机过程与采样

本文链接：https://blog.youkuaiyun.com/pzccool/article/details/147358645

Q17: 分析马尔可夫链的平稳分布存在条件（Perron - Frobenius 定理应用）

马尔可夫链平稳分布是啥？

马尔可夫链的平稳分布是一个概率分布 $\pi$ ，满足 $\pi P = \pi$ ，其中 P 是转移矩阵。简单说，就是经过多次状态转移后，分布不再变化。比如天气变化的马尔可夫链，平稳分布表示长期的天气概率。

Perron - Frobenius 定理怎么用？

Perron - Frobenius 定理指出，正矩阵（元素全正）有唯一的正特征向量（对应最大特征值）。对马尔可夫链，若转移矩阵 P 不可约（所有状态相通）且非周期（无固定循环周期），则 P 满足定理条件。此时，存在唯一的平稳分布 $\pi$ ，且 $\pi$ 所有元素为正。

在 LLM 中的使用

在 LLM 的文本生成中，可将词的生成视为马尔可夫链。例如，基于前一个词生成下一个词的转移矩阵，若满足不可约非周期，平稳分布可表示文本中词的长期概率分布，帮助模型生成更自然的文本。

代码示例（模拟简单马尔可夫链）：

import numpy as np  
# 定义不可约非周期的转移矩阵  
P = np.array([[0.7, 0.3], [0.4, 0.6]])  
# 计算平稳分布（解πP = π，归一化）  
vals, vecs = np.linalg.eig(P.T)  
pi = vecs[:, np.argmax(np.abs(vals))].real  
pi /= pi.sum()  
print("平稳分布:", pi)

解释：通过特征值分解求平稳分布，验证了定理在简单马尔可夫链中的应用。LLM 中类似思路可分析词生成的长期分布。