8、离散时间马尔可夫链与随机过程基础

离散时间马尔可夫链与随机过程基础

1. 随机过程概述

随机过程是一组依赖于参数（通常为时间）的随机变量集合。具体来说，给定样本空间 $S$ 和随机变量 $X(\omega)$（其中 $\omega \in S$），随机过程可定义为 $X(t, \omega)$（$t \geq 0$）的集合，这里的 $t$ 一般代表时间，也可以是空间等其他参数。简单来讲，随机过程就是在时间 $t$ 观察到的一组随机变量 $X(t)$（$t \geq 0$）。

例如，每天的降雨量 $X(t)$、汽车油箱中任意时刻剩余的汽油量等都是随机过程的实例。在排队系统中，大多数研究的量都涉及随机过程。

在离散时间里，我们主要考虑整数值的随机过程，并且通常只关注非负整数值的过程。设状态空间 $I = {0, 1, 2, 3, \cdots}$，$I_s$ 是 $I$ 的子集（即 $I_s \subseteq I$）。随机变量 $X_n$ 在离散时间 $n = 0, 1, 2, \cdots$ 是可观测的，且 $X_n \in I_s$。这些 $X_0, X_1, X_2, \cdots$ 构成了离散时间的随机过程，可表示为 ${X_n, n = 0, 1, 2, \cdots}$。

我们关注随机过程的概率特性，比如 $X_n$ 取特定值的概率，以及一组随机变量的行为，像 $Pr{X_m = a_m, X_{m + 1} = a_{m + 1}, \cdots, X_{m + v} = a_{m + v}}$，还可能关注过程在不同时间的矩。

以一个通信处理系统为例，消息在时间 $A_1, A_2, A_3, \cdots$ 到达，第 $n$ 条消息到达时间为 $A_n$，处理