随机过程复习（四）连续时间马尔可夫过程

最新推荐文章于 2025-04-22 20:57:34 发布

欢喜h~

最新推荐文章于 2025-04-22 20:57:34 发布

阅读量3.3k

点赞数 25

分类专栏：随机过程文章标签：概率论

本文链接：https://blog.youkuaiyun.com/weixin_50911531/article/details/134722068

版权

随机过程专栏收录该内容

6 篇文章

订阅专栏

1. 定义与基本概念

设状态空间 $S=\{0,1,2,...\}$ ， $X=\{X(t),t\geq 0\}$ 为一随机过程，

（1）若对于 $\forall i_k\in S(0\leqslant k\leqslant n+1)$ 和 $0\leqslant t_0<t_1<\cdots<t_n<t_{n+1}$ ，当 $P\{X(t_0)=i_0,X(t_1)=i_1,\cdots, X(t_n)=i_n\}>0$ 时，都有下式成立：

$\begin{aligned}P\{X(t_{n+1})=i_{n+1}|X(t_0)=i_0,\cdots,X(t_n)=i_n\}\\=P\{X(t_{n+1})=i_{n+1}|X(t_n)=i_n\}\end{aligned}$

则称 $X=\{X(t),t\geq 0\}$ 为连续时间马尔可夫过程（或连续参数马尔可夫链）。

（2）若对于任意 $i,j\in S$ 和 $s,t\geq 0$ ，都有

$\begin{aligned}&P\{X(s+t)=j|X(s)=i\}=P\{X(t)=j|X(0)=i\}\\&=P_{ij}(t)\end{aligned}$

则称X为齐次马尔可夫链，并称 $P(t)=(P_{ij}(t))(i,j\in S)$ 为转移概率矩阵。

转移概率矩阵P(t)具有下列基本性质：

（1）P(t)为随机矩阵，即

$\begin{aligned}P_{ij}(t)&\geqslant0\quad(i,j\in S)\\\sum P_{ij}(t)&=1\quad(i\in S)\end{aligned}$

（2）C-K方程，即

$P(s+t)=P(s)P(t)$

或

$P_{ij}(s+t)=\sum_{k\in S}P_{ik}(s)P_{kj}(t)\quad(s, t\geqslant0; i, j\in S)$

（3）标准性与原点连续性

$\lim_{t\to0}P(t)=P(0)=1$

其中I为单位矩阵。写成分量形式，即

$\left.\lim_{t\to0}P_{ij}(t)=\delta_{ij}=\left\{\begin{array}{ll}1&\quad(i=j)\\0&\quad(i\neq j)\end{array}\right.\right.$

2. 转移率矩阵及其概率意义

设 $\{N(t),t\geq 0\}$ 为时齐泊松过程，参数为 $\lambda$ 。它是连续参数马尔可夫链，并且

故 $P'_{ij}(t)$ 存在，且

$\left.q_{ij}=:P_{ij}^{\prime}(0)=\left\{\begin{array}{cc}-\lambda&\quad(j=i\geqslant0)\\\lambda&\quad(j=i+1,\quad i\geqslant0)\\0&\quad(\text{else})\end{array}\right.\right.$

若令 $\mathbf{Q}=(q_{ij})$ ，可以验证P(t)满足 $\mathbf{P}(t)=e^{t\mathbf{Q}}$

对于保守的Q矩阵，其对角线元素非正，非对角线元素非负，且其行和为0.

当P(t)为标准转移阵时，其密度矩阵 $P'(0)=(P'_{ij}(0))=(q_{ij})$ 为Q矩阵，且当S为有限集时， $P'(0)$ 为保守Q矩阵。

下面解释 $Q=(q_{ij})$ 的概率意义，令

$\tau_1=\inf\left\{t:t>0,\quad X(t)\neq X(0)\right\}$

则 $\tau_1$ 表示逗留在初始状态的时间（或首次离开初始状态的时刻）。

设马尔可夫链 $X=\{X(t),t\geq 0\}$ 轨道右连续，则对 $i\in S,t\geq 0$ ，有

$P(\tau_1>t|X(0)=i)=\exp(-q_it)$

这说明系统逗留在X(0)=i状态的时间是服从参数为 $q_i$ 的指数分布的，显然

$E\left[\tau_1|X(0)=i\right]=q_i^{-1}$

可见， $q_i$ 决定了过程 $\{X(t),t\geq 0\}$ 停留在X(0)=i的平均逗留时间，它刻画了过程从i出发的转移速率。据此，可将状态i分为三类：

$q_i$ =0，称i为吸收状态，表明从i出发，过程以概率1永远停留在i状态。
$q_i$ =∞，称i为瞬时状态，说明X在i状态几乎不停留立即跳到其他状态。
0< $q_i$ <∞，称i为逗留状态，这时过程停留在状态i，若干时间后跳到别的状态，停留时间服从指数分布。

3. Kolmogorov微分方程

设马尔可夫链 $\{X(t),t\geq 0\}$ ， $P(t)=(P_{ij}(t)),Q=(q_{ij})=P'(0)$ 。当S为有限集时，有

$\begin{aligned}P^{\prime}(t)&=P(t)Q\\P^{\prime}(t)&=QP(t)\end{aligned}$

上式分别称为柯尔莫哥洛夫向前、向后微分方程，其分量形式为

$\begin{aligned}P_{ij}^{\prime}(t)&=&-P_{ij}(t)q_j+\sum_{k\neq j}P_{ik}(t)q_{kj}\\P_{ij}^{\prime}(t)&=&-q_iP_{ij}(t)+\sum_{k\neq i}q_{ik}P_{kj}(t)\end{aligned}$

4. 应用

4.1 生灭过程

$\Delta$ 生灭过程

设马尔可夫链 $X=\{X(t),t\geq 0\}$ ，状态空间S={0,1,2,...}，当h充分小时，若 $P(t)=(P_{ij}(t))$ 满足：

$\begin{cases}P_{i, j}(h)=\lambda_i h+o(h), & \left(\lambda_i \geqslant 0, i \geqslant 0, j=i+1\right) \\ P_{i, j}(h)=\mu_i h+o(h) & \left(\mu_i \geqslant 0, i \geqslant 1, j=i-1\right) \\ P_{i j}(h)=1-\left(\lambda_i+\mu_i\right) h+o(h) & \left(\mu_0=0, i \geqslant 0, j=i\right) \\ \sum_{|j-i| \geqslant 2} P_{i j}(h)=o(h) & (i \geqslant 0,|j-i| \geqslant 2)\end{cases}$

则称X为生灭过程。

生灭过程可作如下概率解释：

若以X(t)代表一个生物群体在时刻t的大小，则在很小的时间h内，群体变化有三种可能：状态由i变到i+1，即增加一个个体，其概率为 $\lambda _ih+o(h)$ ；状态由i变到i-1，即减少一个个体，其概率为 $\mu _ih+o(h)$ ；群体大小不增不减，其概率为 $1-(\lambda _i+\mu_i)h+o(h)$ 。可知， $q_i=\lambda _i+\mu_i,q_{i,i+1}=\lambda,q_{i,i-1}=\mu_i$ ，其他 $q_{ij}=0$ 。

即Q矩阵表示为：

若X为生灭过程，则P(t),Q满足向前向后微分方程

$\begin{gathered} P_{ij}^{\prime}(t) =-P_{ij}(t)(\lambda_j+\mu_j)+P_{i,j-1}(t)\lambda_{j-1}+P_{i,j+1}(t)\mu_{j+1} \\ P_{ij}^{\prime}(t) =-(\lambda_i+\mu_i)P_{ij}(t)+\lambda_iP_{i+1,j}(t)+\mu_iP_{i-1,j}(t) \end{gathered}$

且 $\{\pi_j(t), j\in S\}$ ，满足福克-普朗克(Fokker-Planck)方程

$\left.\left\{\begin{array}{l}\pi_0^{\prime}(t)=-\pi_0(t)\lambda_0+\pi_1(t)\mu_1\\\pi_j^{\prime}(t)=-\pi_j(t)(\lambda_j+\mu_j)+\pi_{j-1}(t)\lambda_{j-1}+\pi_{j+1}(t)\mu_{j+1}\end{array}\right.\right.$

4.2 排队服务系统

M/M/1排队系统，即顾客到达时参数为 $\lambda$ 的泊松过程，每个顾客的服务时间独立同分布，服从参数为 $\mu$ 的指数分布且与顾客到达时间相互独立，另外只有服务员。记X(t)表示系统t时刻顾客数，易知 $\{X(t),t\geq 0\}$ 为生灭过程， $\lambda_i=\lambda (i\geq 0), \mu_i=\mu(i\geq 1, \mu_0=0)$ .

对于M/M/1排队系统，当 $\rho =\frac{\lambda }{\mu}<1$ 时，过程存在唯一的平稳分布 $\{\pi_j, j\in S\}$ .

当 $t\rightarrow \infty$ 时， $\pi_j(t)\rightarrow \pi_j$ .

通常在排队论中，若存在极限分布，且等于平稳分布，称此时系统处于统计平衡，简称稳态，存在几个数量指标：

（1）系统的平均队长

$L=\begin{aligned}\frac\lambda{\mu-\lambda}&=\frac\rho{1-\rho}\end{aligned}$

$\begin{aligned}\lim_{t\to\infty}E\left[X^2(t)\right]&=\sum_{k=0}^\infty k^2\pi_k=\rho\left[\frac2{(1-\rho)^2}-\frac1{(1-\rho)}\right]\\&\lim_{t\to\infty}D\left[X(t)\right]=\frac\rho{(1-\rho)^2}\end{aligned}$

（2）平均等待顾客数

$L_g=\sum_{k=1}^\infty{(k-1)\pi_k}=\frac{\lambda^2}{\mu(\mu-\lambda)}=\frac{\rho^2}{(1-\rho)}$

（3）等待时间分布和平均等待时间。以 $T_g$ 表示稳态时顾客排队等待的时间，记 $G(x)=P(T_g\leq x)$ ，当x=0时，有

$G(0)=P(T_g=0)=\pi_0=1-\frac\lambda\mu$

当x>0时，由全概率公式，有

$\begin{array}{rcl}G(x)&=&\sum_{n=0}^\infty P(X(s)=n)P(T_g\leqslant x|X(s)=n)\\\\&=&P(T_g\leqslant x,X(s)=0)+\sum_{n=1}^\infty\pi_nP(T_g\leqslant x|{X}|(s)=n)\end{array}$

在X(s)=n条件下， $T_g$ 应等于n-1个顾客服务时间之和再加上正在服务的顾客的剩余服务时间，再由指数分布的无记忆性知， $P(T_g\leqslant x|X(s)=n)$ 应等于参数为 $\mu$ 的指数分布的n重卷积，即

$P(T_g\leqslant x|X(s)=n)=\int_0^x\frac{\mu(\mu u)^{n-1}}{(n-1)!}\mathrm{e}^{-\mu u}\mathrm{d}u$

故

$\begin{array}{rcl}G(x)&=&(1-\frac\lambda\mu)+(1-\frac\lambda\mu)\lambda\int_0^x\sum_{n=1}^\infty\frac{(\lambda u)^{n-1}}{(n-1)!}\mathrm{e}^{-\mu u}\mathrm{d}u\\&=&(1-\frac\lambda\mu)+\frac\lambda\mu\left[1-\mathrm{e}^{-(\mu-\lambda)x}\right]\\&=&1-\frac\lambda\mu\mathrm{e}^{-(\mu-\lambda)x}\end{array}$

平均等待时间为

$W_g=E(T_g)=\frac\lambda{\mu(\mu-\lambda)}$

（4）平均逗留时间。在平稳条件下，M/M/1排队系统中顾客的逗留时间 $W=W_g+B$ （B代表服务员服务时间）。因为顾客接收服务时间服从负指数分布，故 $E\left[B\right]=1/\mu,\quad D\left[B\right]=1/\mu^2$ 。因此顾客的平均逗留时间为

$E(W)=E(W_g)+E(B)=\frac\lambda{\mu(\mu-\lambda)}+\frac1\mu=\frac1{\mu-\lambda}$

排队论中，一般用四个符号组成形如1/2/3/4来表示一个特殊的排队服务系统，其中记号1,2分别表示输入过程（顾客到达时间间隔）和服务时间的分布。具体内容有：M表示具有无记忆性的指数分布；D表示确定型分布； $E_n$ 表示n阶爱尔兰分布；G表示任意分布；GI表示时间间隔是相互独立的任意分布。记号3表示服务台的数目。记号4表示系统的排队容量或系统的容量，如果省略记号4，则表示系统容量无限。