随机过程简介

随机过程的基本概念

随机变量回顾

在进入随机过程之前，先复习一下随机变量，这也是初学概率论时经常搞不明白的地方。

个人认为，数学最本质的特征是抽象，也就是说一切事物都可以通过某种法则映射到数上，然后再来通过讨论数的关系，来描述事物的关系。再具体到概率论中，我们讨论一些事物的发生可能性，并把所有的可能性构成的集合称为样本空间，比如掷骰子的可能结果是{1,2,3,4,5,6}\{1,2,3,4,5,6\}{1,2,3,4,5,6}，那么这就是样本空间，而且都是具体数字。

但是，大部分样本空间都不是数据的形式，比如说掷硬币会有正反两面，但这不是数字。为了方便描述，我们把正面的结果视为1，反面结果视为0，那么这就完成了一个由正反面到具体数字的映射。随机变量的作用就是为了完成类似的映射关系！！！

对于任意的一般事物S={e}S=\{e\}S={e}，其中$e$代表了所有可能出现的情况，而$X(e)$表示随即实验的每个结果映射到实数集$R$上，那么这个映射函数就是随机变量！！也就是说，我们所说的随机变量，本质上是一个函数，这个函数完成了随机试验的结果到实数的一个映射！！！！！学数学一定要搞清最基本的概念！！！

但是，随机变量这个函数和普通函数有着本质的差别。普通函数给定输入，它的输出是确定的；随机变量的取值是概率性质的，即在实验之前，我们不知道随机变量会取得什么值，每个取值都有一定的概率。然而，我们可以知道随机变量所有取值的概率分布。

比如说我们认为随机变量符合标准正太分布，即$X\sim N(0,1)$。这说明，随机试验的结果，经过随机变量$X(e)$映射后，所有情况对应的可能出现的情况的概率，满足$N(0,1)$这个分布函数！！！在这里强调，随机变量这个函数的映射结果，即函数的值域出现的可能情况，满足$N(0,1)$这个正太分布！！！而对于$P(x)$，是指随机变量的值是$x$的时候，可能的概率是$P(x)$。

理解随机变量的本质，是理解随机过程的前提。

随机过程的基本概念

前面所说的随机变量，本质上是一个静态的概念，可以这么认为，我们每次做的随机试验，都是在某个固定的时间点上进行的，而且在实验之前就能知道每个结果的概率，注意这里所说的是知道概率，真正结果是不知道的。比如掷硬币正反两面的结果概率都是0.5，但是我们不知道结果到底是哪个；即使是不均匀的硬币，假设根据计算结果，正面朝上的概率是0.9，那我们也只能认为我们知道的是概率，不能知道结果。

随机过程可以这么理解，在一个时间轴上，不断地进行随机试验（可以是离散或者连续的），而且我们不知道每次随机试验时结果可能服从的分布情况，每个时间点对应的结果的分布是未知的，即$X(t)$未知，有很多种情况。但是，如果我们从开始实验到某个固定的结束时间点，都可以得到一组随机变量$X(t)$，即每个时间点$t$对应一个随机变量。那么，这一系列的$t$对应的一族（无限多个）随机变量成为随机过程，记为
{X(t),t∈T} \{X(t),t\in T\} {X(t),t∈T}
可以理解为，随机过程是一个时间轴上随机变量的有序集合。一般都认为$t$是时间，即使不是时间，那它也代表着步骤编号。$X(t)$称为$t$时刻的状态。对于$\forall x\in T$，$X(t)$所有可能的取值称为状态空间。

对随机过程进行一次完整的观测，会得到一个关于$t$的函数，每次观测都会得到一个不同的函数。那么任意一个函数就是随机过程的一个样本函数。可以这么理解，一个随机过程由多种（甚至无数个）可能情况，而一个样本函数只是这个过程的某种体现。这就像整体和样本之间的关系。

随机过程的描述方式

分布函数

首先回顾随机变量的分布函数：
F(x)=P{X≤x},  x∈R F(x)=P\{X\le x\},\ \ x \in R F(x)=P{X≤x},  x∈R
随机变量的分布函数的意义是，给定一个值$x$，那么随机变量$X$小于这个值的概率是$F(x)$。

同样的，随机过程只不过是添加了一个时间轴，那么对于一个一维随机过程分布函数，在$t$时刻的分布函数是：
FX(x,t)=P{X(t)≤x},  x∈R F_X(x,t)=P\{X(t)\le x\},\ \ x \in R FX​(x,t)=P{X(t)≤x},  x∈R
它表示的意义是，在给定的$t$时刻的随机变量$X(t)$的值小于给定$x$的概率。

均值和方差

均值可以这么理解，每个时间点都有一个自己的分布，那么每个时间点的分布都求出平均值，然后这些平均值的时间序列组合就构成了随机过程平局值，因此均值公式为：
$${\mu }_X(t)=E[X(t)]$$

同理，每个时间点的方差组合成随机过程的方差：
σX2(t)=DX(t)=E{[X(t)−μX(t)]2} \sigma_X^{2}(t) = D_X(t) = E\{[X(t)-\mu_X(t)]^2\} σX2​(t)=DX​(t)=E{[X(t)−μX​(t)]2}
下图给出了他们的一个基本关系

记二阶原点矩为：
$${\Psi }_X^2=E[X^2(t)]\text{\hspace{1em}(1)}$$

设任意$t_1,t_2\in T$，且二阶混合矩是：
$$R_{XX}(t_1,t_2)=E[X(t_1),X(t_2)]\text{\hspace{1em}(2)}$$
简记为$R_X(t_1,t_2)$

记二阶混合中心距为：
(3)CXX(t1,t2)=Cov(X(t1),X(t2))=E{[X(t1)−μX(t1)][X(t2)−μX(t2)]} C_{XX}(t_1,t_2) = Cov(X(t_1),X(t_2)) = E\{[X(t_1)-\mu_X(t_1)][X(t_2)-\mu_X(t_2)]\} \tag 3 CXX​(t1​,t2​)=Cov(X(t1​),X(t2​))=E{[X(t1​)−μX​(t1​)][X(t2​)−μX​(t2​)]}(3)
同时称之为协方差函数，表示变量之间的相关性，简记为$C_X(t_1,t_2)$

由因为
$${\Psi }_X^2(t)=R_X(t,t)\text{\hspace{1em}(4)}$$

展开(3)式，得到
$$C_X(t_1,t_2)=R_X(t_1,t_2)-{\mu }_X(t_1){\mu }_X(t_2)$$

当$t_1=t_2$时，有
$${\sigma }_X^2=C_X(t,t)=R_X(t,t)-{\mu }_X^2(t)$$