更新过程

$\textbf{更新过程}$
$\quad\quad$首先给出更新过程的定义，令$\{N(t),t \geq 0\}$是一个计数过程，用$X_n$记这个过程的第$n-1$个和第$n$个事件之间的时间，如果非负随机变量列$\{X_1,X_2,...\}$是独立同分布的，那么计数过程$\{N(t),t \geq 0\}$称为更新过程。当一个事件发生了，我们就说发生了一次更新。同时我们记$X_n$的期望$\mu=E(X_n)$是平均更新时间。
$\quad\quad$很显然，泊松过程便是一个更新过程，第$n-1$和第$n$个事件之间的时间都是服从速率为$\lambda t$时间的指数分布，其中t是时间差。

---

$\textbf{更新过程的重要性质}$

性质一：有限时间内的更新数目不可能是无穷的。
$\textbf{性质二：$N(\infty)=\lim_{t ->\infty}N(t)=\infty$以概率1成立}$

证明：针对上述的更新过程，我们定义第n个更新时间

$$S_n=\sum_{i=1}^nX_i$$ ,它和 $N(t)$之间的关系如下：
$$N(t)=\max\{n:S_n \leq t\}\\\\$$
t时间的更新数目为 $N(t)$，如果 $N(t)$为无穷大，那么等式右边的n就是趋于无穷大，根据强大数定理， $S_n$也是趋于无穷大，矛盾。同时这个性质也可以说明性质二。

---

性质三：当t趋于无穷大时，更新过程的更新速率为

$$\lim_{t->\infty}N(t)/t=1/\mu$$
这个性质是容易理解的，一个更新过程的终极更新速率（也就是t趋于无穷大时）是平均更新时间的倒数。
例子：考虑排队问题M/G/1，也就是到达顾客数是泊松过程，服务时间服从G分布，只有1个服务站，但是在这里如果顾客到服务窗口发现有人正在服务，那么他马上就走，如果有空闲，马上进入服务。问题是
（1）顾客进入银行的速率是多少
（2）潜在的顾客确实进入银行的比例是多少

分析：（1）首先我们先描述一下这个过程，最开始的时候，服务台式没有人的，然后第一个顾客进入银行，马上接受服务，服务时间为$X_1$,然后等待下一个顾客的到来，这个等待时间为$Y_1$，我们画出图来

从0到1这是一个更新，更新时间为$X_1+Y_1$,从1到2也是一个更新，更新时间为$X_2+Y_2$，显然两者是独立同分布的，Y_1是指数分布,这个过程是一个更新过程。同时我们知道

$$E(X_1+Y_1)=\mu+1/\lambda$$
根据性质三。更新速率为
$$\frac 1 {\mu+1/\lambda}$$ ,也就是顾客进入银行的速率，因为从0到1只有一个顾客进入银行。
（2）潜在的顾客达到银行的速率为 $\lambda$，那么潜在的顾客确实进入银行的比例为 $1/(\mu+1/\lambda):\lambda$

---

$\textbf{性质四.基本更新定理}$
如果我们令$E(N(t))=m(t),E(X_i)=\mu$那么

$$\frac {m(t)} t \rightarrow \frac 1 \mu , t\rightarrow \infty$$

---

$\textbf{更新报酬过程}.$
$\quad\quad$考虑更新时间间隔是$X_n(n \geq 1)$的更新过程$\{N(t),t \geq 0\}$，并且在每次更新发生之后，我们接受一次报酬，以$R_n$记在第n次更新时得到的报酬。假定$R_n(n \geq 1)$是独立同分布，同时我们允许$R_n$可以依赖于第$n$个更新区间长度$X_n$。如果我们令

$$R(t)=\sum_{n=1}^{N(t)}R_n$$
那么R(t)表示到时间t-为止赚到的全部报酬。
$\quad\quad$类似于更细过程的更新速率和平均更新速率概念，针对更新过程，我们有如下的性质
$\textbf{性质五.如果}E(R_n)<\infty,E(X_n)<\infty,\textbf{那么}$
$$(a)\lim_{t \rightarrow \infty} \frac {R(t)} t= \frac{ E(R)} {E(X)}$$
$$(b) lim_{t\rightarrow \infty}=\frac {E[R(t)]} t=\frac {E(R)} {E(X)}$$
证明是运用性质三和性质四，注意(a)是依概率1成立。
针对性质五，我们想说的是 $\frac {R(t)} t$表示的是单位时间内的报酬，我们也可以说是报酬率，在依概率1的情况下，它是一个更新区间的平均报酬除以更新区间的时间长度。

---

$\textbf{复合泊松过程}$
$\quad\quad$更新报酬过程的一个具体的例子就是$\textbf{复合泊松过程}$,下面我们将给出它的定义
$\quad\quad$一个过程称$\{X(t),t \geq 0\}$为复合泊松过程,如果它可以表示成

$$X(t)=\sum_{i=1}^{N(t)}Y_i,t \geq0$$
,其中 $Y_i$是一组独立同分布的随机变量， $N(t)$是泊松过程。其实，令 $Y_i=1$那么这个过程就是泊松过程。
$\quad\quad$泊松过程的矩为
$$E(X(t))=\lambda tE(Y_1)\\ Var(X(t))=\lambda tE(Y_1^2)$$
$\textbf{例子}$.考虑一个单服务员的服务站，顾客按速率为 $\lambda$的泊松过程到达。如果在顾客到达时服务员空着就立即接受服务。不然顾客就排队等待。相继的服务时间是独立同分布的。这样的系统将交替的出于闲期和忙期，有顾客来，服务员就开始忙，当没有顾客，服务员就开始闲，那么感兴趣的是服务员的忙期。那么忙期的长度的期望和方差如何？

分析：首先画出这个过程的图：

银行系统是这样一个过程，首先是一段闲期，然后第一个顾客进入服务，服务台进入忙期，假设长度为B，当完成对这个顾客的服务后，服务时间为S，假设在这段服务时间内又来了K个顾客。那么服务台将持续忙期，针对这K个顾客的每一个顾客，都将进行一个类似于长度为B的服务时间，所以，我们有下式

$$B=S+\sum_{k=1}^{K}B_k$$
两边对B求期望，我们用条件期望来做，就是
$$E(B)=E(E(S+\sum_{k=1}^{K_s}B_k|S))$$
显然当已知S时， $\sum_{k=1}^{K_s}B_k$就是一个复合泊松过程，显然我们可以求得其期望和方差。这样我们便可以求得 $B$的期望和方差。

$\textbf{例子.}$我们先考虑不可约的连续时间的常返的markov链。那么状态 $i$的访问次数是无穷多次，同样状态$j$的访问次数也是无穷多次。那么这个马尔科夫链蕴含着一个更新过程，计数就是到时间t位置访问状态 $i$的次数。我们作图如下：

那么问题是在一个$i-i$循环中访问j的平均次数是多少？

分析：访问$j$的平均次数等于访问$j$的速率乘以这段时间的平均长度。访问$j$的速率问题和访问$i$的速率问题是同一类问题，都是更新过程的更新速率问题.所以根据性质三和性质四，我们知道访问$j$的速率为一个$j-j$循环的平均时间的倒数。根据$markov$链的性质，一个$j-j$循环的平均时间就是平均回转时间，记为$\mu_j$,同时i-i的平均回转时间为$\mu_i$.这样$i-i$循环中访问j的平均次数为$\mu_i/\mu_j$

$\textbf{例子(半马尔科夫过程)}$.假设一个过程可以出于$N$中状态，在每一种状态$i$保持一个均值为$i$的随机时间$t$，然后按照状态转移矩阵转移到下一个状态。那么这样的随机过程就是半马尔可夫过程。和马尔可夫过程不同的是马尔科夫过程的随机时间$t$都是1.针对半马尔科夫过程，我们感兴趣的问题是处于每种状态的时间的比例。
分析:画出图：

$\quad\quad$从图中我们可以看出，$t_1$是状态$i$的停留时间，从$t_1$时间末通过转移矩阵转移到其他状态，直到通过时间$t_2$在此回到状态$i$，然后停留时间$t_3$，再进行状态转移。我们可以将$t_1+t_2$看成一个循环时间，那么这就是一个更新过程，计数为状态$i$的个数，当然我们不把$t_1$看成$i$的停留时间便可，这是无所谓的。那么这个要计算每种状态的时间比例，也就是在整个过程中，遇到一次状态$j$，我们给一个报酬$T$，那么每种状态的比例就是下式

$$\frac {\sum_{k=1}^{N(t)}T_k} t$$

这个的极限就是在一个$i-i$循环中，$j$的平均报酬除以这个循环的平均时间，在这段时间内$j$的报酬是$j$的平均次数乘以$T$，根据上例在$i-i$循环中$j$的平均次数为$\mu_i/\mu_j$。 t <script type="math/tex" id="MathJax-Element-3474">t</script>的平均时间并不是上例中的回转时间，原因是这个已经不是马尔科夫过程。这个平均循环时间就是在这个循环中所有状态的平均报酬和，这样就可以求解了。