应用随机过程速通笔记1——条件期望，泊松过程，离散马尔可夫链

本笔记系列适应人群与文前说明

这里仅为速通笔记，文字的省略不可避免，错漏也会存在，有需要的可以对比书或者其他资料进行仔细学习！
参考书籍：熊德文《应用随机过程》第二版， 高等教育出版社
系列预计适应人群：非数专业的随机过程课速通（力学，金融学，机械学，生物学等），或者正在初步学习diffusion相关涉及SDE理论的人群，或者是数学爱好者
本文适应人群：非数专业的随机过程课速通，或者是数学爱好者
前置知识：高等数学，概率论与数理统计，傅里叶变换（谱函数涉及一点）
本文为系列一，包括条件期望和离散马尔科夫链，条件期望适合所有理工科学过概率统计的读者进行了解，系列不定时更新 😃

条件期望

设$(X,Y)$为任意随机变量，其中$E|X|<+\infty$，定义条件期望$E(X|Y)$为满足以下两个条件的唯一随机变量：

• $E(X|Y)$为随机变量Y的函数
• 对任意有界函数$h(y)$，都有$E(E(X|Y)h(Y))=E(Xh(Y))$

不难发现，$h(Y)=1$时得到一个小结论$E(E(X|Y))=E(X)$，注意这里的期望算子不能省的，这本质是一个积分或者求和算子，可不是什么两边同除就能解决的。

我们注意到什么？这个条件期望本身也是一个随机变量，也就是说，它和一般的能得到具体实值的期望不一样。只有我们知道了$Y$的具体取值，那么才知道对$X$的期望是什么。

性质也是有不少的：

• 期望线性的性质。

• 全数学期望公式：$E(g(Y))=E(E(g(Y)|X))$，注意$E|Y|<+\infty$，这就好比，我对$g(Y)$的期望估计，在X的参考下，先对X期望估计后再进行一次对Y的期望，那就是
  $$E[E[g(Y)|X]]=\sum _x\left(\sum _{z}zP(g(Y)=z|X=x)\right)P(X=x)$$
  推导一下就可以得到相等。反过来也一样，$E[X]=E[E[X|Y]]$，$E|X|$满足什么条件？请读者思考。

• $E|Y|<+\infty$时，若X和Y独立，则$E(Y|X)=E(Y)$

• $E|X|<+\infty$时，对任意有界可测函数$\varphi (Y)$，有$$E(X\varphi (Y)|Y))=\varphi (Y)E(X|Y)$$

性质：
$(X,Y)$为随机变量,$E\left(|X{|}^2\right)<+\infty ,g(y)$是任意可测函数且 $E\left[(g(Y){)}^2\right]<+\infty$，则$$E\left[{\left(X-g(Y)\right)}^2\right]⩾E\left[{\left(X-E(X|Y)\right)}^2\right].$$

这里有一个背景，当$X\in L^2(\Omega ,\mathcal{F},P)$时，条件期望$E[X|\mathcal{G}]$是$X$在由$\mathcal{G}$-可测的 $L^2$ 随机变量构成的闭子空间 $L^2(\Omega ,\mathcal{G},P)$ 上的唯一正交投影。这个投影是 $L^2(\Omega ,\mathcal{G},P)$ 中对 $X$ 的最佳均方逼近，即它最小化了 $E[(X-Y{)}^2]$ 其中$Y$是任意 $\mathcal{G}$-可测的$L^2$随机变量。画图的话可以画一个$X$向量，一个投影，然后做个向量差，这就是$X-E(X|\mathcal{G})$，可知$E(X|\mathcal{G})\cdot (X-E(X|\mathcal{G}))=0$。

更一般的$(\Omega ,\mathcal{F},P)$简单描述一下，上面的条件概率条件，$\mathcal{G}$是$\mathcal{F}$一个子$\sigma$-域，$E(X|G)$唯一的条件是$E(X|G)$关于$\mathcal{G}$可测，里面有个塔式法则，简单来说就是当$\mathcal{H}\subset \mathcal{G}\subset \mathcal{F}$且都是$\mathcal{F}$的子$\sigma$-域的时候$E(E(X|\mathcal{G})|\mathcal{H})=E(X|\mathcal{H})$

随机过程

随机过程有很多种，Poisson Process，Markov chain，Brownian motion，Martingale，Itô Calculus & integral等等，可以从状态的连续和离散划分，可以从时间的连续和离散划分，也可以根据马尔可夫的记忆性划分，总之很多很多，对金融学的读者，伊藤积分和微分至关重要，我前些日子还在听有人扯Black-Scholes模型，数学没学好也是痛苦。马尔科夫链就不说了，到处都在用，有些地方好像高中都在学这个了，绷。

随机过程是否存在有着Kolmogorov存在性定理，这里不提及。

随机过程也有诸多数字特征可以拿来使用，这里直接搬书（可以略过）：

这里最重要的是相关函数，涉及到后面的平稳分布，学通信原理的读者可以注意一下。相关函数用来衡量一个随机过程在两个不同时刻的取值之间的所谓“关联程度”的函数。这个关联程度，在统计平均意义下，也就是$X_s$和$X_t$的关联性有多强。如果这个值很大（正或负都行），通常意味着这两个时刻的随机变量有很强的线性关系。

相关函数也和一个分布的谱密度函数成互为傅里叶正逆变换的关系。

同时注意，这里的协方差函数和原来的统计里的协方差不完全一致，能比较对的上的是互协方差函数，协方差函数本身其实是$E(X_s-E(X_s))(X_t-E(X_t))$

Poisson Process

泊松过程一类特殊的计数过程，且是连续时间马尔可夫过程（书第五章有证明）。

三大特点：

• 事件在不重叠的时间区间内发生的次数是独立的（独立增量）。
• 在任何长度为$t$的时间区间内发生事件的次数服从泊松分布，其均值为$\lambda t$，$\lambda$是事件发生的平均速率，整体上称呼为强度。
• 事件之间的时间间隔服从指数分布。

接下来给出定义，给定 N T = { N ( t ) , t ≥ 0 } N_T = \{N(t), t \ge 0 \} NT​={N(t),t≥0}，满足三个条件：

• $N_T$是计数过程且$N(0)=0$
• $N_T$是平稳独立增量过程。平稳意味着$N(t+s)-N(s)$和$N(t)-N(0)$同分布，也就是说事件发生的次数只依赖于时间区间的长度，而与区间的起始点无关。独立意味着对任意像$0<t_1<t_2<...$的起始点，两者之间在随机过程里的差值（比如上面的）互相独立，互不影响，就好比这个过程是无记忆的，过去的信息不会影响未来。
• $\forall 0<s<t$，增量$N(t)-N(s)\sim Poi(\lambda (t-s))$

有的地方也说明了第四个性质，Rarity or Infinitesimal Properties，即在一个极小的时间段$\Delta t$内：恰好发生一次事件的概率近似于$\lambda \Delta t$。即：
$$P(N(t+\Delta t)-N(t)=1)=\lambda \Delta t+o(\Delta t)$$
发生两次或以上事件的概率可以忽略不计：
$$P(N(t+\Delta t)-N(t)\ge 2)=o(\Delta t)$$
其中 $o(\Delta t)$ 是高阶无穷小，即$\underset{\Delta t\to 0}{\lim }\frac{o(\Delta t)}{\Delta t}=0$

为什么要叫泊松过程？这是因为这个随时间的，描述动态过程的随机过程是和静态的泊松分布有关系的，根据上面这个性质，完全可以写一个递推微分方程组，比如定义$P_n(t)=P(N(t)=n)$，去分类讨论，这里不表。

事件间隔时间：指数分布

利用泊松过程的独立增量性，可以证明所有的间隔时间 $T_1,T_2,T_3,\dots$ 都是独立同分布的，且都服从参数为$\lambda$的指数分布。也就是说，如果有些问题我们不仅关心发生了多少次，还得关心下一次事件要等多久的情况。就可以用到这个。

如果要知道第n次事件发生的总共等待的时间点，可以用到伽马分布$\Gamma (n,\lambda )$，依然不表。

数字特征

$$m_N(t)=\lambda t$$

$$D_N(t)=\lambda t$$

C o v ( N ( s ) , N ( t ) ) = λ m i n { s , t } Cov(N(s), N(t)) = \lambda min\{s,t\} Cov(N(s),N(t))=λmin{s,t}

R N ( s , t ) = λ 2 s t + λ m i n { s , t } R_N(s,t) = \lambda^2 s t + \lambda min\{s,t\} RN​(s,t)=λ2st+λmin{s,t}

这里只计算相关函数是怎么来的：即计算$E[N(s)N(t)]$。这个结果会依赖于$s$和$t$的相对大小，不妨假设$s\le t$。考虑到独立性，这里做变形：
$$N(t)=N(s)+(N(t)-N(s))$$
由于这两个时间段 $(0,s]$ 和 $(s,t]$ 不重叠，所以随机变量 $N(s)$ 和 $N(t)-N(s)$ 是相互独立的，代入到原来的期望里展开：
$$R_N(s,t)=E[N(s{)}^2+N(s)(N(t)-N(s))]$$
前者，看到期望内平方就想到方差展开：
$$E[N(s{)}^2]=\text{Var}(N(s))+(E[N(s)]{)}^2=\lambda s+(\lambda s{)}^2=\lambda s+{\lambda }^2{s}^2$$
后者展开：
$$E[N(s)(N(t)-N(s))]=(\lambda s)\cdot (\lambda (t-s))={\lambda }^{2}s(t-s)={\lambda }^{2}st-{\lambda }^2{s}^2$$
相加起来自然就是一部分答案，另一部分用 $s>q$ 去计算然后可以得 m i n { s , t } min\{s,t\} min{s,t} 了。

再提一下多元分布PDF和顺序统计量：

在$N(t)=n$下：
$$f(t_1,t_2,\dots ,t_n|N(t)=n)=\{\begin{array}{l}\frac{n!}{t^n},0<t_1<t_2<\cdots <t_n\le t,\\ 0,else\end{array}$$

$f_{{\tau }_k}(X|N(t)=n)$可从n个独立同分布的$U(0,t)$的随机变量的第k个顺序统计量入手：
$$f=\frac{n!}{(k-1)!(n-k)!}[F(x){]}^{k-1}[1-F(x){]}^{n-k}f(x)$$

Discrete Markov Chain

离散马尔可夫链：（为了完整，这里使用gpt给出的内容并作修正，原有笔记太过简略，需要一定基础）

对一个随机过程 { X n , n = 0 , 1 , 2 , …   } \{X_n, n=0, 1, 2, \dots\} {Xn​,n=0,1,2,…}，如果其状态空间 $S$ 是离散的，并且满足马尔可夫性 (Markov Property)，则称其为离散马尔可夫链。

马尔可夫性：过程在未来的状态，只取决于当前的状态，而与过去的状态无关。用数学语言描述为：
$P(X(m+k)=i_{m+k}|X(n_1)=i_1,\dots ,X(m)=i_m)=P(X(m+k)=i_{m+k}|X(m)=i_m)$
其中，$i_0,i_1,\dots$ 均为状态空间 $S$ 中的状态，$0<n_1<n_2<\cdots <m,k>0$

gpt给的是一步转移概率的定义，同时用的是$X_{m+k}$这种下标的类型，这里和书一致用括号类型。

转移概率

转移概率描述了马尔可夫链从一个状态移动到另一个状态的可能性。

n步转移概率 (n-step transition probability)：
$$p_{ij}^{(k)}(m)=P(X(m+k)=j|X(m)=i)$$
表示过程从$m$时刻从$i$出发的$k$步转移概率。

转移概率矩阵 (Transition Probability Matrix)：
由一步转移概率组成的矩阵 $P=[p_{ij}]$。矩阵的第 $i$ 行第 $j$ 列元素为 $p_{ij}$。

• $p_{ij}\ge 0$
• $\sum _{j\in S}{p}_{ij}=1$ (每一行元素之和为1)

Chapman-Kolmogorov方程

对于任意状态 $i,j\in S$ 和任意正整数 $k,l>0$，设${\mathbf{P}}^{(k)}(m)=(p_{i,j}^{(k)}(m){)}_{i,j\in S}$为马尔科夫链 X T = { X ( n ) , n ∈ N } X_T = \{X(n), n \in N\} XT​={X(n),n∈N}的$k$步转移矩阵。有：
$$p_{i,j}^{(k+l)}(m)=\sum _{k\in S}{p}_{i,r}^{(k)}(m)p_{r,j}^{(l)}(m+k)$$
矩阵形式：
$${\mathbf{P}}^{(k+l)}(m)={\mathbf{P}}^{(k)}(m){\mathbf{P}}^{(l)}(m+k)$$
直观上可以理解为从$i$到$j$从m时刻走$k$步到$r$状态再从$m+k$时刻走$l$步到$j$状态，C-K方程对其中所有的可能情况进行求和。

分布向量和初始分布

初始分布向量，简称初始分布：
$${\pi }_j(0)=P(X(0)=j)$$
知：
$${\pi }_j(0)\ge 0,\sum _{j\in S}{\pi }_j(0)=1$$

这个还是行和。
称$\mathbf{\pi }(0)=({\pi }_j(0){)}_{j\in S}$为马尔科夫链$X_T$的初始分布。
$\mathbf{\pi }(n)=({\pi }_j(n){)}_{j\in S}$为n时刻的分布向量，由于：
$$P(X(n)=j)=\sum _{i\in S}P(X(n)=j|X(0)=i)P(X(0)=i)$$
故而：
$${\pi }_j(n)=\sum _{i\in S}{\pi }_i(0)p_{i,j}^{(n)}(0)$$
任意时刻的分布向量完全由初始分布及转移概率矩阵唯一确定：
$$\mathbf{\pi }(n)=\mathbf{\pi }(0)\mathbf{P}(1)\mathbf{P}(2)\dots$$

离散马尔可夫链的有限维概率分布：
$t_1<t_2<\cdots <t_k$有：
$$P(X(t_1)=i_1,X(t_2)=i_2,\dots ,X(t_n)=i_n)={\pi }_{i_1}(t_1)p_{i_1,i_2}^{(t_2-t_1)}(t_1)\dots p_{i_k-1,i_k}^{(t_k-t_{k-1})}(t_{k-1})$$

时齐马尔科夫链：
$$P(X(m+k)=j|X(m)=i)=P(X(k)=j|X(0)=i)=p_{i,j}^{(k)}$$

整个过程不会依赖$m$，一大特征是它的转移矩阵 $P$ 是一个不随时间改变的常数矩阵，且根据C-K方程，其 $n$ 步转移矩阵就是一步转移矩阵的 $n$ 次幂。

下文里，马尔科夫链在不特别说明的情况下都是时齐马尔科夫链

互通和不可约

可达：如果从状态 $i$ 出发，有正的概率经过有限步能到达状态 $j$，则称状态 $j$ 从 $i$ 可达，记作 $i\to j$。
($\exists n\ge 0,\text{ s.t. }{p}_{ij}^{(n)}>0$)

互通：如果 $i\to j$ 且 $j\to i$，则称状态 $i$ 和状态 $j$ 是互通的，记作 $i\leftrightarrow j$。
学过离散数学或者抽象代数的就知道等价关系，互通也就是这样的等价关系，把状态空间 $S$ 划分为若干个互通类。

不可约：如果一个马尔可夫链的所有状态都属于同一个互通类，则称该马尔可夫链是不可约的。
也就是说，在一个不可约的马尔可夫链中，从任何一个状态出发，最终都可以到达任何其他状态。

首达概率

首达概率 $f_{ij}^{(n)}$：从状态 $i$ 出发，在第 $n$ 步首次到达状态 $j$ 的概率。
$$f_{i,j}^{(n)}=P(X(n)=j,X(k)\ne j\text{ for }1\le k\le n-1|X(0)=i)$$

迟早到达概率 $f_{ij}$：从状态 $i$ 出发，迟早会到达状态 $j$ 的概率。
$$f_{ij}=\sum _{n=1}^{\infty }{f}_{i,j}^{(n)}=P(\exists n\ge 1,s.t.X_n=j|X_0=i)$$

常返与非常返

这两个概念是根据从一个状态出发，是否必然会返回该状态来定义的。

常返状态：如果从状态 $i$ 出发，必然会（概率为1）再次返回到状态 $i$，则称状态 $i$ 是常返的。
$$f_{ii}=1$$
可以理解为在一个马尔科夫链中，一旦从一个状态离开，总有一个时刻会回来。如果一个状态是常返的，时刻无限的情况下，那么过程会无限次地访问它。

非常返状态：如果从状态 $i$ 出发，有正的概率永远不再返回到状态 $i$，则称状态 $i$ 是非常返的。
$$f_{ii}<1$$
和常返状态相反，一旦从一个状态离开，可能就再也回不来了。过程访问一个非常返状态的次数是有限的。举个例子，在一个马尔科夫链中，状态1可以去状态2，状态1和状态2互通，而状态2可以去互通的状态2和3但不能回来。

除了定义，还有下面的判定定理：
状态 $i$ 是常返的 $⟺\sum _{n=1}^{\infty }{p}_{ii}^{(n)}=\infty$
状态 $i$ 是非常返的 $⟺\sum _{n=1}^{\infty }{p}_{ii}^{(n)}<\infty$

在一个互通类中，如果一个状态是常返的，那么该类中所有状态都是常返的。非常返同理。

平均返回时间

对于一个状态 $i$，如果它是常返的 ($f_{ii}=1$)，那么从状态 $i$ 出发，最终会返回到状态 $i$。在此情况上，平均返回时间 ${\mu }_i$ 指的是从状态 $i$ 出发，首次返回到状态 $i$ 所需的平均步数。定义如下：
$${\mu }_i=\sum _{n=1}^{+\infty }n{f}_{i,i}^{(n)}$$

注意:
如果状态 $i$ 是非常返的，则 $f_{ii}<1$，这意味着有概率永远不返回 $i$，此时我们通常定义 ${\mu }_i=\infty$。但哪怕状态 $i$ 是常返的，平均返回时间也可能为无穷大。

正常返与零常返

正常返状态：
如果一个状态 $i$ 是常返的，并且其平均返回时间 ${\mu }_i$ 是有限的 (${\mu }_i<+\infty$)，则称状态 $i$ 是正常返的。
这意味着从一个状态出发后不仅会回来，而且平均回来的时间不至于趋于无穷，这是马尔可夫链达到稳定行为的关键。

零常返状态：
如果一个状态 $i$ 是常返的，但其平均返回时间 ${\mu }_i$ 是无限的 (${\mu }_i=\infty$)，则称状态 $i$ 是零常返的。
从一个状态出发后保证会回来，但平均回来的时间是无穷大。
一个马尔科夫链是零常返 $⟺\underset{n\to \infty }{\lim }{p}_{i,i}^{(n)}=0,\forall i\in S$

在一个互通类中，如果一个状态是正常返（或零常返）的，那么该类中所有状态都是正常返（或零常返）的。

周期

状态 $i$ 的周期 $d_i$ 定义为：
d i = gcd { n ≥ 1 : p i i ( n ) > 0 } d_i = \text{gcd}\{n \ge 1 : p_{ii}^{(n)} > 0 \} di​=gcd{n≥1:pii(n)​>0}
其中 $\text{gcd}$ 表示最大公约数。
如果一个状态的周期为 $d_i$，那么从该状态出发，只有在 $d_i,2d_i,3d_i,\dots$ 这些步数才有可能返回到自身。

如果 $d_i=1$，则称状态 $i$ 是非周期的。
返回自身，没有特定的步数模式。

在一个互通类中，所有状态具有相同的周期。

遍历性

如果一个状态 $i$ 是正常返的并且是非周期的，则称状态 $i$ 是遍历的。

如果一个马尔可夫链是不可约的，并且其所有状态都是遍历的，则称该马尔可夫链是遍历的。
条件：不可约（所有状态互通） + 正常返 + 非周期 $⟹$ 遍历

极限分布

如果对于每个状态 $j$，极限
$${\pi }_j=\underset{n\to \infty }{\lim }{p}_{ij}^{(n)}$$
存在并且与初始状态 $i$ 无关，则称向量 $\mathbf{\pi }=(\pi (j):j\in S)$ 为马尔可夫链的极限分布。
这里要求极限与初始状态 $i$ 无关。

对于一个不可约、正常返、非周期（即遍历）的马尔可夫链，极限分布 $\mathbf{\pi }$ 存在，且是一个唯一的概率分布，即 ${\pi }_j\ge 0$ 且 $\sum _j{\pi }_j=1$。
其他情况不讨论。

平稳分布

如果马尔可夫链的初始状态按照这个分布选取，那么在未来的任何时刻，链处于各个状态的概率都保持不变。

一个概率分布 $\mathbf{\pi }=(\pi (j):j\in S)$（即 ${\pi }_j\ge 0$ 且 $\sum _j{\pi }_j=1$）如果满足：
$$\mathbf{\pi }\mathbf{P}=\mathbf{\pi }$$
其中 $P$ 是一步转移概率矩阵。则称 $\mathbf{\pi }$ 为该马尔可夫链的平稳分布。

对于一个不可约、正常返的时齐马尔可夫链，存在唯一的平稳分布 $\mathbf{\pi }$。
平稳分布的各个分量为：${\pi }_j=\frac{1}{{\mu }_j}$
平稳分布和极限分布相等的情况：如果该链还是非周期的（满足遍历），那么这个唯一的平稳分布 $\mathbf{\pi }$ 就等于其极限分布。