随机过程-第八周

第八周

1. 考虑 S = { 0 , 1 } S=\{0,1\} S={0,1}的马尔科夫链$$\mathbf{P}=\left[\begin{array}{cc}1-p& p\\ q& 1-q\end{array}\right]$$设该链从状态$0$开始，$T$为返回$0$的时刻，求$T$的分布
   解： 设 时 刻 t 的 状 态 为 X t , 则 P { T ≥ n } = P { X 1 , 2 , . . . , n − 1 = 1 ∣ X 0 = 0 } = p ( 1 − q ) n − 2 ∴ P { T = n } = P { T ≥ n } − P { T ≥ n + 1 } = p q ( 1 − q ) n − 2 同 时 P { T = n } = P { X 1 , 2 , ⋯   , n − 1 = 1 , X n = 0 ∣ X 0 = 0 } = p ( 1 − q ) n − 2 q 此 即 T 的 分 布 列 而 E ( T ) = ∑ n = 2 + ∞ n p q ( 1 − q ) n − 2 = p q 1 − q ∑ n = 2 + ∞ n ( 1 − q ) n − 1 = p q 1 − q d ∑ n = 2 + ∞ ( 1 − q ) n d ( 1 − q ) = p q 1 − q 1 − q 2 q 2 = p ( 1 + q ) q \begin{aligned} &设时刻t的状态为X_t,则P\{T\ge n\}=P\{X_{1,2,...,n-1}=1|X_0=0\}=p(1-q)^{n-2}\\ &\therefore P\{T=n\}=P\{T\ge n\}-P\{T\ge n+1\}=pq(1-q)^{n-2}\\ &同时 P\{T=n\}=P\{X_{1,2,\cdots,n-1}=1,X_n=0|X_0=0\}=p(1-q)^{n-2}q\\ &此即T的分布列\\ &而E(T)=\sum_{n=2}^{+\infty}npq(1-q)^{n-2}=\frac{pq}{1-q}\sum_{n=2}^{+\infty}n(1-q)^{n-1}\\&=\frac{pq}{1-q}\frac{d\sum_{n=2}^{+\infty}(1-q)^n}{d(1-q)}=\frac{pq}{1-q}\frac{1-q^2}{q^2}=\frac{p(1+q)}{q} \end{aligned} ​设时刻t的状态为Xt​,则P{T≥n}=P{X1,2,...,n−1​=1∣X0​=0}=p(1−q)n−2∴P{T=n}=P{T≥n}−P{T≥n+1}=pq(1−q)n−2同时P{T=n}=P{X1,2,⋯,n−1​=1,Xn​=0∣X0​=0}=p(1−q)n−2q此即T的分布列而E(T)=n=2∑+∞​npq(1−q)n−2=1−qpq​n=2∑+∞​n(1−q)n−1=1−qpq​d(1−q)d∑n=2+∞​(1−q)n​=1−qpq​q21−q2​=qp(1+q)​​

2. 令$X_n$是状态空间 { 1 , ⋯   , N } \{1,\cdots,N\} {1,⋯,N}上的一个不可约马尔科夫链，证明存在$C<\infty$以及$\rho <1$，使得对任意状态$i,j$有 P { X m ≠ j , m = 0 , ⋯   , n ∣ X 0 = i } ≤ C ρ n P\{X_m\neq j,m=0,\cdots,n|X_0=i\}\le C\rho^n P{Xm​​=j,m=0,⋯,n∣X0​=i}≤Cρn同时上式蕴含$E(T)<\infty$，其中$T$是马尔科夫链首次到达状态$j$的时间
   解： 不 妨 将 给 定 的 状 态 i 认 为 是 马 尔 科 夫 链 的 初 始 状 态 X 0 ， 即 P { X 0 = i , i ≠ j } = 1 引理： ∃ δ > 0 ， 使 得 对 从 任 意 状 态 i 开 始 的 马 尔 科 夫 链 在 前 N 步 到 达 j 的 概 率 都 大 于 δ 证明： 设 事 件 A N ： 在 前 N 步 内 首 次 到 达 j ， 事 件 B N ： 在 第 N 步 首 次 到 达 j 可 知 A N = ⋃ n = 1 N B n ， B N = { X 1 ≠ j ， ⋯   , X N − 1 ≠ j , X N = j } 且 B n ∩ B m = ∅ , ∀ n ≠ m ， 且 B N = A ‾ N − 1 ∩ { X N = j } 则 有 P ( B n ) = ( 1 − ∑ i = 1 n − 1 P ( B i ) ) P { X n = j } 其 中 P { X n = j } 记 为 p n ， 特 别 地 , p 0 = 0 因 此 有 P ( B 0 ) = 0 P ( B 1 ) = p 1 P ( B 2 ) = p 2 ( 1 − p 1 ) = p 2 − p 1 p 2 P ( B 3 ) = p 3 ( 1 − p 1 − p 2 + p 1 p 2 ) = p 3 − p 1 p 3 − p 2 p 3 + p 1 p 2 p 3 … 故 有 P ( B n ) = ∑ k = 0 n − 1 ( − 1 ) k K ( k , n − 1 ) p n （ 数 学 归 纳 法 , 证 略 ） 其 中 K ( k , n − 1 ) 表 示 { p 1 ⋯ p n − 1 } 中 取 出 任 意 k 个 ( 共 有 C n − 1 k 中 情 况 ) 的 和 ， 如 K ( 2 , n ) = ∑ k = 1 n ∑ l = k + 1 n p l p k , K ( 3 , n ) = ∑ k = 1 n ∑ l = k + 1 n ∑ s = l + 1 n p s p l p k ， 以 此 类 推 ， 特 别 地 , K ( 0 , ∗ ) ≡ 0 易 得 P ( A n ) = ∑ k = 0 n p ( B k ) = ∑ k = 0 n ∑ l = 0 k − 1 ( − 1 ) l K ( l , k − 1 ) p k = ∑ k = 1 n ( − 1 ) k − 1 K ( k , n ) 不 妨 p ‾ = ∑ p k n ， 则 P ( A n ) ≥ ∑ k = 1 n C n k ( − 1 ) k − 1 p ‾ k （ 用 p ‾ 代 替 p k 后 ， K ( k , n ) 转 化 为 ∑ k = 1 n p k i ， 而 ∑ k = 1 n p k i ≥ K ( k , n ) 即 顺 序 和 不 小 于 乱 序 和 ， 运 用 柯 西 − 施 瓦 茨 不 等 式 ， 证 略 ） 因 此 P ( A n ) ≥ ∑ k = 1 n C n k ( − 1 ) k − 1 p ‾ k = { p ‾ ∑ k = 0 n − 1 C n k ( − 1 ) k p ‾ k = p ‾ ( 1 − p ‾ ) n − 1 ， n 为 奇 数 ∑ k = 0 n C n k ( − 1 ) k − 1 p ‾ k − ( − 1 ) n = ( 1 − p ‾ ) n − 1 ， n 为 偶 数 引理 证 毕 下 面 证 明 题 目 的 不 等 式 i = j 时 ， 事 件 { X 0 = i } 与 { X 0 ≠ j } 不 可 能 同 时 发 生 故 P { X m ≠ j , m = 0 , ⋯   , n ∣ X 0 = i } = 0 < C ρ n ， ∀ C , ρ > 0 i ≠ j 时 ， { X m ≠ j , m = 0 , ⋯   , n ∣ X 0 = i } = A n ‾ ∴ P { X m ≠ j , m = 0 , ⋯   , n ∣ X 0 = i } = 1 − P ( A n ) n 为 奇 数 时 由 引理 ， 上 式 化 为 P { X m ≠ j , m = 0 , ⋯   , n ∣ X 0 = i } = 1 − P ( A n ) ≤ p ‾ 1 − p ‾ ( 1 − p ‾ ) n 令 C = p ‾ 1 − p ‾ , ρ = 1 − p ‾ ， 原 式 成 立 n 为 偶 数 时 注 意 到 : P ( A n ) ≥ P ( A n − 1 ) 故 P { X m ≠ j , m = 0 , ⋯   , n ∣ X 0 = i } = 1 − P ( A n ) ≤ 1 − P ( A n − 1 ) P { X m ≠ j , m = 0 , ⋯   , n ∣ X 0 = i } ≤ 1 − P ( A n − 1 ) = p ‾ ( 1 − p ‾ ) 2 ( 1 − p ‾ ) n 令 C = p ‾ ( 1 − p ‾ ) 2 , ρ = 1 − p ‾ ， 原 式 成 立 综 上 ， 原 式 得 证 再 证 明 上 式 蕴 含 E ( T ) < ∞ 由 于 事 件 { X m ≠ j , m = 0 , ⋯   , n ∣ X 0 = i } ⇆ { T > n } ∴ P { T > n } ≤ C ρ n ∴ P { T = n } = P { T > n − 1 } − P { T > n } ≤ C ρ n − 1 ∴ E ( T ) = ∑ n = 1 ∞ n P { T = n } ≤ ∑ n = 1 ∞ n C ρ n − 1 = C ( 1 − ρ ) 2 < ∞ 证 毕 \begin{aligned} &不妨将给定的状态i认为是马尔科夫链的初始状态X_0，即P\{X_0=i,i\neq j\}=1\\ \textbf{引理：}&\exist\delta>0，使得对从任意状态i开始的马尔科夫链\\&在前N步到达j的概率都大于\delta\\ \textbf{证明：}&设事件A_N：在前N步内首次到达j，事件B_N：在第N步首次到达j\\ &可知A_N=\bigcup_{n=1}^NB_n，B_N=\{X_1\neq j，\cdots,X_{N-1}\neq j,X_N=j\}\\ &且B_n\cap B_m=\varnothing,\forall n\neq m，且B_N=\overline{A}_{N-1}\cap\{X_N=j\}\\ &则有P(B_n)=(1-\sum_{i=1}^{n-1}P(B_i))P\{X_n=j\}\\ &其中P\{X_n=j\}记为p_n，特别地,p_0=0\\\\ &因此有\\ &P(B_0)=0\\ &P(B_1)=p_1\\ &P(B_2)=p_2(1-p_1)=p_2-p_1p_2\\ &P(B_3)=p_3(1-p_1-p_2+p_1p_2)=p_3-p_1p_3-p_2p_3+p_1p_2p_3\\ &\dots\\ &故有P(B_n)=\sum_{k=0}^{n-1}(-1)^k\Kappa(k,n-1)p_n（数学归纳法,证略）\\ &其中\Kappa(k,n-1)表示\{p_1\cdots p_{n-1}\}中取出任意k个(共有C_{n-1}^k中情况)的和，\\ &如\Kappa(2,n)=\sum_{k=1}^n\sum_{l=k+1}^np_lp_k,\Kappa(3,n)=\sum_{k=1}^n\sum_{l=k+1}^n\sum_{s=l+1}^np_sp_lp_k，以此类推，特别地,\Kappa(0,*)\equiv0\\ &易得P(A_n)=\sum_{k=0}^np(B_k)=\sum_{k=0}^n\sum_{l=0}^{k-1}(-1)^l\Kappa(l,k-1)p_k=\sum_{k=1}^{n}(-1)^{k-1}\Kappa(k,n)\\ &不妨\overline p=\frac{\sum p_k}n，则P(A_n)\ge\sum_{k=1}^{n}C_n^k(-1)^{k-1}\overline p^k\\ &（用\overline p代替p_k后，\Kappa(k,n)转化为\sum_{k=1}^np_k^i，而\sum_{k=1}^np_k^i\ge\Kappa(k,n)\\ &即顺序和不小于乱序和，运用柯西-施瓦茨不等式，证略）\\ &因此P(A_n)\ge\sum_{k=1}^{n}C_n^k(-1)^{k-1}\overline p^k= \left\{\begin{matrix} \overline p\sum\limits_{k=0}^{n-1}C_n^k(-1)^{k}\overline p^k=\overline p(1-\overline p)^{n-1}&，n为奇数\\ \sum\limits_{k=0}^{n}C_n^k(-1)^{k-1}\overline p^k-(-1)^n=(1-\overline p)^n-1&，n为偶数\\ \end{matrix}\right.\\ &\textbf{引理}证毕 \\\\\\ &下面证明题目的不等式\\ i=j时，&事件\{X_0=i\}与\{X_0\neq j\}不可能同时发生\\ &故P\{X_m\neq j,m=0,\cdots,n|X_0=i\}=0<C\rho^n，\forall C,\rho>0\\ i\neq j时，&\{X_m\neq j,m=0,\cdots,n|X_0=i\}=\overline{A_n}\\ &\therefore P\{X_m\neq j,m=0,\cdots,n|X_0=i\}=1-P(A_n)\\ n为奇数时\\ &由\textbf{引理}，上式化为\\ &P\{X_m\neq j,m=0,\cdots,n|X_0=i\}=1-P(A_n)\le\frac{\overline p}{1-\overline p}(1-\overline p)^{n}\\ &令C=\frac{\overline p}{1-\overline p},\rho=1-\overline p，原式成立\\ n为偶数时\\ &注意到:P(A_n)\ge P(A_{n-1})\\ &故P\{X_m\neq j,m=0,\cdots,n|X_0=i\}=1-P(A_n)\le 1-P(A_{n-1})\\ &P\{X_m\neq j,m=0,\cdots,n|X_0=i\}\le1-P(A_{n-1})=\frac{\overline p}{(1-\overline p)^2}(1-\overline p)^{n}\\ &令C=\frac{\overline p}{(1-\overline p)^2},\rho=1-\overline p，原式成立\\ &综上，原式得证\\\\ &再证明上式蕴含E(T)<\infty\\ &由于事件\{X_m\neq j,m=0,\cdots,n|X_0=i\}\leftrightarrows\{T>n\}\\ \therefore&P\{T>n\}\le C\rho^n\\ \therefore&P\{T=n\}=P\{T>n-1\}-P\{T>n\}\le C\rho^{n-1}\\ \therefore&E(T)=\sum_{n=1}^\infty nP\{T=n\}\le\sum_{n=1}^\infty nC\rho^{n-1}=\frac{C}{(1-\rho)^2}<\infty\\ &证毕\\ \end{aligned} 引理：证明：i=j时，i​=j时，n为奇数时n为偶数时∴∴∴​不妨将给定的状态i认为是马尔科夫链的初始状态X0​，即P{X0​=i,i​=j}=1∃δ>0，使得对从任意状态i开始的马尔科夫链在前N步到达j的概率都大于δ设事件AN​：在前N步内首次到达j，事件BN​：在第N步首次到达j可知AN​=n=1⋃N​Bn​，BN​={X1​​=j，⋯,XN−1​​=j,XN​=j}且Bn​∩Bm​=∅,∀n​=m，且BN​=AN−1​∩{XN​=j}则有P(Bn​)=(1−i=1∑n−1​P(Bi​))P{Xn​=j}其中P{Xn​=j}记为pn​，特别地,p0​=0因此有P(B0​)=0P(B1​)=p1​P(B2​)=p2​(1−p1​)=p2​−p1​p2​P(B3​)=p3​(1−p1​−p2​+p1​p2​)=p3​−p1​p3​−p2​p3​+p1​p2​p3​…故有P(Bn​)=k=0∑n−1​(−1)kK(k,n−1)pn​（数学归纳法,证略）其中K(k,n−1)表示{p1​⋯pn−1​}中取出任意k个(共有Cn−1k​中情况)的和，如K(2,n)=k=1∑n​l=k+1∑n​pl​pk​,K(3,n)=k=1∑n​l=k+1∑n​s=l+1∑n​ps​pl​pk​，以此类推，特别地,K(0,∗)≡0易得P(An​)=k=0∑n​p(Bk​)=k=0∑n​l=0∑k−1​(−1)lK(l,k−1)pk​=k=1∑n​(−1)k−1K(k,n)不妨p​=n∑pk​​，则P(An​)≥k=1∑n​Cnk​(−1)k−1p​k（用p​代替pk​后，K(k,n)转化为k=1∑n​pki​，而k=1∑n​pki​≥K(k,n)即顺序和不小于乱序和，运用柯西−施瓦茨不等式，证略）因此P(An​)≥k=1∑n​Cnk​(−1)k−1p​k=⎩⎪⎪⎨⎪⎪⎧​p​k=0∑n−1​Cnk​(−1)kp​k=p​(1−p​)n−1k=0∑n​Cnk​(−1)k−1p​k−(−1)n=(1−p​)n−1​，n为奇数，n为偶数​引理证毕下面证明题目的不等式事件{X0​=i}与{X0​​=j}不可能同时发生故P{Xm​​=j,m=0,⋯,n∣X0​=i}=0<Cρn，∀C,ρ>0{Xm​​=j,m=0,⋯,n∣X0​=i}=An​​∴P{Xm​​=j,m=0,⋯,n∣X0​=i}=1−P(An​)由引理，上式化为P{Xm​​=j,m=0,⋯,n∣X0​=i}=1−P(An​)≤1−p​p​​(1−p​)n令C=1−p​p​​,ρ=1−p​，原式成立注意到:P(An​)≥P(An−1​)故P{Xm​​=j,m=0,⋯,n∣X0​=i}=1−P(An​)≤1−P(An−1​)P{Xm​​=j,m=0,⋯,n∣X0​=i}≤1−P(An−1​)=(1−p​)2p​​(1−p​)n令C=(1−p​)2p​​,ρ=1−p​，原式成立综上，原式得证再证明上式蕴含E(T)<∞由于事件{Xm​​=j,m=0,⋯,n∣X0​=i}⇆{T>n}P{T>n}≤CρnP{T=n}=P{T>n−1}−P{T>n}≤Cρn−1E(T)=n=1∑∞​nP{T=n}≤n=1∑∞​nCρn−1=(1−ρ)2C​<∞证毕​

3. 
   ( a ) . 状 态 空 间 为 S = { A , B , C , D , E } 转 移 矩 阵 为 P = [ 0 1 3 1 3 1 3 0 1 3 0 1 3 0 1 3 1 2 1 2 0 0 0 1 2 0 0 0 1 2 0 1 2 0 1 2 0 ] lim ⁡ n → ∞ P n = [ 1 4 1 4 1 6 1 6 1 6 1 4 1 4 1 6 1 6 1 6 1 4 1 4 1 6 1 6 1 6 1 4 1 4 1 6 1 6 1 6 1 4 1 4 1 6 1 6 1 6 ] 故 质 点 处 在 点 A 时 间 所 占 比 例 为 1 4 ( b ) . 初 始 状 态 s = [ 1 0 0 0 0 0 ] 不 变 状 态 π ‾ = s P ∞ = [ 1 4 1 4 1 6 1 6 1 6 ] 故 期 望 步 数 E ( T ) = 1 π ‾ ( 1 ) = 4 ( c ) . 初 始 状 态 s = [ 0 0 1 0 0 0 ] 不 变 状 态 π ‾ = s P ∞ = [ 1 4 1 4 1 6 1 6 1 6 ] 到 达 A 的 期 望 步 数 E ( T A ) = 4 ， 故 在 E ( T A ) 步 移 动 中 ， 期 望 访 问 B 4 次 。 ( d ) . 设 从 B 点 开 始 ， 到 达 C 之 前 到 达 A 的 概 率 为 p B 从 D 点 开 始 ， 到 达 C 之 前 到 达 A 的 概 率 为 p D 从 E 点 开 始 ， 到 达 C 之 前 到 达 A 的 概 率 为 p E 则 有 { p B = 1 3 + 1 3 p E p E = 1 2 p B + 1 2 p D p D = 1 2 + 1 2 p E 解 得 p B = 4 7 事 实 上 ， 将 A C 看 作 吸 收 壁 ， 得 到 P ′ = [ 1 0 0 0 0 1 3 0 1 3 0 1 3 0 0 1 0 0 1 2 0 0 0 1 2 0 1 2 0 1 2 0 ] 以 此 状 态 转 移 矩 阵 计 算 得 到 π ‾ = [ 4 7 0 0 3 7 0 ] 同 样 得 到 概 率 为 4 7 ( e ) . 初 始 状 态 s = [ 0 0 1 0 0 0 ] 不 变 状 态 π ‾ = s P ∞ = [ 1 4 1 4 1 6 1 6 1 6 ] 故 期 望 步 数 E ( T ) = 1 π ‾ ( 1 ) = 4 \begin{aligned} (a).&状态空间为S=\{A,B,C,D,E\}\\ &转移矩阵为\mathbf P=\begin{bmatrix} 0&\frac13&\frac13&\frac13&0\\ \frac13&0&\frac13&0&\frac13\\ \frac12&\frac12&0&0&0\\ \frac12&0&0&0&\frac12\\ 0&\frac12&0&\frac12&0\\ \end{bmatrix}\\ &\lim_{n\to\infty}\mathbf P^n=\begin{bmatrix} \frac14&\frac14&\frac16&\frac16&\frac16\\ \frac14&\frac14&\frac16&\frac16&\frac16\\ \frac14&\frac14&\frac16&\frac16&\frac16\\ \frac14&\frac14&\frac16&\frac16&\frac16\\ \frac14&\frac14&\frac16&\frac16&\frac16\\ \end{bmatrix}\\ &故质点处在点A时间所占比例为\frac14\\ (b).&初始状态\mathbf s=\begin{bmatrix}1&0&0&0&0&0\end{bmatrix}\\ &不变状态\overline{\mathbf\pi}=\mathbf s\mathbf P^\infty=\begin{bmatrix}\frac14&\frac14&\frac16&\frac16&\frac16\end{bmatrix}\\ &故期望步数E(T)=\frac1{\overline\pi(1)}=4\\ (c).&初始状态\mathbf s=\begin{bmatrix}0&0&1&0&0&0\end{bmatrix}\\ &不变状态\overline{\mathbf\pi}=\mathbf s\mathbf P^\infty=\begin{bmatrix}\frac14&\frac14&\frac16&\frac16&\frac16\end{bmatrix}\\ &到达A的期望步数E(T_A)=4，故在E(T_A)步移动中，期望访问B4次。\\ (d).&设\\ &从B点开始，到达C之前到达A的概率为p_B\\ &从D点开始，到达C之前到达A的概率为p_D\\ &从E点开始，到达C之前到达A的概率为p_E\\ &则有\left\{\begin{matrix} &p_B=\frac13+\frac13p_E\\ &p_E=\frac12p_B+\frac12p_D\\ &p_D=\frac12+\frac12p_E\\ \end{matrix}\right.\\ &解得p_B=\frac47\\ &事实上，将AC看作吸收壁，得到\mathbf P'=\begin{bmatrix} 1&0&0&0&0\\ \frac13&0&\frac13&0&\frac13\\ 0&0&1&0&0\\ \frac12&0&0&0&\frac12\\ 0&\frac12&0&\frac12&0\\ \end{bmatrix}\\ &以此状态转移矩阵计算得到\overline\pi=\begin{bmatrix}\frac47& 0 &0&\frac37&0\end{bmatrix}\\ &同样得到概率为\frac47\\ (e).&初始状态\mathbf s=\begin{bmatrix}0&0&1&0&0&0\end{bmatrix}\\ &不变状态\overline{\mathbf\pi}=\mathbf s\mathbf P^\infty=\begin{bmatrix}\frac14&\frac14&\frac16&\frac16&\frac16\end{bmatrix}\\ &故期望步数E(T)=\frac1{\overline\pi(1)}=4\\ \end{aligned} (a).(b).(c).(d).(e).​状态空间为S={A,B,C,D,E}转移矩阵为P=⎣⎢⎢⎢⎢⎡​031​21​21​0​31​021​021​​31​31​000​31​00021​​031​021​0​⎦⎥⎥⎥⎥⎤​n→∞lim​Pn=⎣⎢⎢⎢⎢⎡​41​41​41​41​41​​41​41​41​41​41​​61​61​61​61​61​​61​61​61​61​61​​61​61​61​61​61​​⎦⎥⎥⎥⎥⎤​故质点处在点A时间所占比例为41​初始状态s=[1​0​0​0​0​0​]不变状态π=sP∞=[41​​41​​61​​61​​61​​]故期望步数E(T)=π(1)1​=4初始状态s=[0​0​1​0​0​0​]不变状态π=sP∞=[41​​41​​61​​61​​61​​]到达A的期望步数E(TA​)=4，故在E(TA​)步移动中，期望访问B4次。设从B点开始，到达C之前到达A的概率为pB​从D点开始，到达C之前到达A的概率为pD​从E点开始，到达C之前到达A的概率为pE​则有⎩⎨⎧​​pB​=31​+31​pE​pE​=21​pB​+21​pD​pD​=21​+21​pE​​解得pB​=74​事实上，将AC看作吸收壁，得到P′=⎣⎢⎢⎢⎢⎡​131​021​0​000021​​031​100​000021​​031​021​0​⎦⎥⎥⎥⎥⎤​以此状态转移矩阵计算得到π=[74​​0​0​73​​0​]同样得到概率为74​初始状态s=[0​0​1​0​0​0​]不变状态π=sP∞=[41​​41​​61​​61​​61​​]故期望步数E(T)=π(1)1​=4​

$$\begin{array}{rl}(a).& 状态转移矩阵\mathbf{P}=\left[\begin{array}{ccccccc}\frac{3}{4}& \frac{1}{4}& & & & & \\ \frac{1}{2}& \frac{1}{4}& \frac{1}{4}& & & & \\ \frac{1}{4}& \frac{1}{4}& \frac{1}{4}& \frac{1}{4}& & & \\ \frac{1}{4}& & \frac{1}{4}& \frac{1}{4}& \frac{1}{4}& & \\ \frac{1}{4}& & & \frac{1}{4}& \frac{1}{4}& \frac{1}{4}& \\ \frac{1}{4}& & & & \frac{1}{4}& \frac{1}{4}& \frac{1}{4}\\ \frac{1}{4}& & & & & \frac{1}{4}& \frac{1}{2}\end{array}\right]未标注元素为0\\ & 显然不可约，因为相邻状态互通，故两两互通，即：\\ & 0\leftrightarrow 1\leftrightarrow 2\leftrightarrow 3\leftrightarrow 4\leftrightarrow 5\leftrightarrow 6\end{array}$$

根 据 提 示 构 造 状 态 空 间 为 { 0 , 1 , 2 , 3 , 4 , 5 , 6 , 7 } 的 马 尔 科 夫 链 ， 状 态 转 移 矩 阵 为 P = [ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ] 未 标 出 数 字 为 1 7 P ∞ = ( 1 8 ) 8 × 8 初 始 状 态 为 S 0 = [ 1 0 0 0 0 0 0 0 ] 故 E ( T 1 ) = E ( T 2 ) = 8 \begin{aligned} &根据提示构造状态空间为\{0,1,2,3,4,5,6,7\}的马尔科夫链，状态转移矩阵为\\ &\mathbf P=\begin{bmatrix} 0&&&&&&&0\\ 0&0&&&&&&\\ &0&0&&&&&\\ &&0&0&&&&\\ &&&0&0&&&\\ &&&&0&0&&\\ &&&&&0&0&\\ &&&&&&0&0\\ \end{bmatrix}未标出数字为\frac17\\ &\mathbf P^\infty=(\frac18)_{8\times8}\\ &初始状态为S_0=\begin{bmatrix}1&0&0&0&0&0&0&0\end{bmatrix}\\ &故E(T_1)=E(T_2)=8 \end{aligned} ​根据提示构造状态空间为{0,1,2,3,4,5,6,7}的马尔科夫链，状态转移矩阵为P=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​00​00​00​00​00​00​00​00​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​未标出数字为71​P∞=(81​)8×8​初始状态为S0​=[1​0​0​0​0​0​0​0​]故E(T1​)=E(T2​)=8​

考 虑 九 状 态 马 尔 科 夫 链 16 P = [ 4 2 2 2 1 1 2 1 1 2 2 4 1 1 2 1 1 2 0 4 4 0 2 2 0 2 2 2 1 1 2 1 1 4 2 2 1 1 2 1 1 2 2 2 4 0 2 2 0 2 2 0 4 4 0 0 0 4 2 2 4 2 2 0 0 0 2 2 4 2 2 4 0 0 0 0 4 4 0 4 4 ] ( 0 , 0 ) ( 0 , 1 ) ( 0 , 2 ) ( 1 , 0 ) ( 1 , 1 ) ( 1 , 2 ) ( 2 , 0 ) ( 2 , 1 ) ( 2 , 2 ) ( a ) . 将 ( 0 , 0 ) , ( 1 , 1 ) , ( 2 , 2 ) 转 换 为 吸 收 壁 ， 得 到 16 P ′ = [ 16 0 0 0 0 0 0 0 0 2 2 4 1 1 2 1 1 2 0 4 4 0 2 2 0 2 2 2 1 1 2 1 1 4 2 2 0 0 0 0 16 0 0 0 0 0 2 2 0 2 2 0 4 4 0 0 0 4 2 2 4 2 2 0 0 0 2 2 4 2 2 4 0 0 0 0 0 0 0 0 16 ] P ∞ = [ 1 0 0 0 0 0 0 0 0 0.2 0 0 0 0.3 0 0 0 0.5 0.0857 0 0 0 0.3786 0 0 0 0.5357 0.2 0 0 0 0.3 0 0 0 0.5 0 0 0 0 1 0 0 0 0 0.0571 0 0 0 0.3357 0 0 0 0.6071 0.0857 0 0 0 0.3786 0 0 0 0.5357 0.0571 0 0 0 0.3357 0 0 0 0.6071 0 0 0 0 0 0 0 0 1 ] 由 于 T 是 n 的 下 界 ， 故 E ( T ) = 1 0.5357 = 84 45 ( b ) . { X T = 2 } = { inf ⁡ n : X n = Y n = 2 } 故 P { X T = 2 } = 0.3786 ( c ) . 初 状 态 ϕ = [ 0 0 1 0 0 0 0 0 0 ] P ∞ = [ 0.0331 0.0661 0.0826 0.0661 0.1322 0.1653 0.0826 0.1653 0.2066 0.0331 0.0661 0.0826 0.0661 0.1322 0.1653 0.0826 0.1653 0.2066 0.0331 0.0661 0.0826 0.0661 0.1322 0.1653 0.0826 0.1653 0.2066 0.0331 0.0661 0.0826 0.0661 0.1322 0.1653 0.0826 0.1653 0.2066 0.0331 0.0661 0.0826 0.0661 0.1322 0.1653 0.0826 0.1653 0.2066 0.0331 0.0661 0.0826 0.0661 0.1322 0.1653 0.0826 0.1653 0.2066 0.0331 0.0661 0.0826 0.0661 0.1322 0.1653 0.0826 0.1653 0.2066 0.0331 0.0661 0.0826 0.0661 0.1322 0.1653 0.0826 0.1653 0.2066 0.0331 0.0661 0.0826 0.0661 0.1322 0.1653 0.0826 0.1653 0.2066 ] 故 处 于 相 同 状 态 的 概 率 为 p = 0.0331 + 0.1322 + 0.2066 = 0.3719 = 45 121 这 也 是 处 于 相 同 状 态 时 间 的 比 例 \begin{aligned} &考虑九状态马尔科夫链\\ &16\mathbf P=\begin{bmatrix} 4&2&2&2&1&1&2&1&1\\ 2&2&4&1&1&2&1&1&2\\ 0&4&4&0&2&2&0&2&2\\ 2&1&1&2&1&1&4&2&2\\ 1&1&2&1&1&2&2&2&4\\ 0&2&2&0&2&2&0&4&4\\ 0&0&0&4&2&2&4&2&2\\ 0&0&0&2&2&4&2&2&4\\ 0&0&0&0&4&4&0&4&4\\ \end{bmatrix} \begin{matrix}(0,0)\\(0,1)\\(0,2)\\(1,0)\\(1,1)\\(1,2)\\(2,0)\\(2,1)\\(2,2)\end{matrix}\\ (a).&将(0,0),(1,1),(2,2)转换为吸收壁，得到\\ &16\mathbf P'=\begin{bmatrix} 16&0&0&0&0&0&0&0&0\\ 2&2&4&1&1&2&1&1&2\\ 0&4&4&0&2&2&0&2&2\\ 2&1&1&2&1&1&4&2&2\\ 0&0&0&0&16&0&0&0&0\\ 0&2&2&0&2&2&0&4&4\\ 0&0&0&4&2&2&4&2&2\\ 0&0&0&2&2&4&2&2&4\\ 0&0&0&0&0&0&0&0&16\\ \end{bmatrix}\\ &\mathbf P^\infty=\begin{bmatrix} 1&0&0&0&0&0&0&0&0\\ 0.2&0&0&0&0.3&0&0&0&0.5\\ 0.0857&0&0&0&0.3786&0&0&0&0.5357\\ 0.2&0&0&0&0.3&0&0&0&0.5\\ 0&0&0&0&1&0&0&0&0\\ 0.0571&0&0&0&0.3357&0&0&0&0.6071\\ 0.0857&0&0&0&0.3786&0&0&0&0.5357\\ 0.0571&0&0&0&0.3357&0&0&0&0.6071\\ 0&0&0&0&0&0&0&0&1\\ \end{bmatrix}\\ &由于T是n的下界，故E(T)=\frac1{0.5357}=\frac{84}{45}\\ (b).&\{X_T=2\}=\{\inf n:X_n=Y_n=2\}\\ &故P\{X_T=2\}=0.3786\\ (c).&初状态\phi=\begin{bmatrix}0&0&1&0&0&0&0&0&0\end{bmatrix}\\ &\mathbf P^\infty=\begin{bmatrix} 0.0331&0.0661&0.0826&0.0661&0.1322&0.1653&0.0826&0.1653&0.2066\\ 0.0331&0.0661&0.0826&0.0661&0.1322&0.1653&0.0826&0.1653&0.2066\\ 0.0331&0.0661&0.0826&0.0661&0.1322&0.1653&0.0826&0.1653&0.2066\\ 0.0331&0.0661&0.0826&0.0661&0.1322&0.1653&0.0826&0.1653&0.2066\\ 0.0331&0.0661&0.0826&0.0661&0.1322&0.1653&0.0826&0.1653&0.2066\\ 0.0331&0.0661&0.0826&0.0661&0.1322&0.1653&0.0826&0.1653&0.2066\\ 0.0331&0.0661&0.0826&0.0661&0.1322&0.1653&0.0826&0.1653&0.2066\\ 0.0331&0.0661&0.0826&0.0661&0.1322&0.1653&0.0826&0.1653&0.2066\\ 0.0331&0.0661&0.0826&0.0661&0.1322&0.1653&0.0826&0.1653&0.2066\\ \end{bmatrix}\\ &故处于相同状态的概率为p=0.0331+0.1322+0.2066=0.3719=\frac{45}{121}\\ &这也是处于相同状态时间的比例 \end{aligned} (a).(b).(c).​考虑九状态马尔科夫链16P=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​420210000​224112000​244122000​210210420​112112224​122122244​210420420​112224224​122244244​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​(0,0)(0,1)(0,2)(1,0)(1,1)(1,2)(2,0)(2,1)(2,2)​将(0,0),(1,1),(2,2)转换为吸收壁，得到16P′=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​1620200000​024102000​044102000​010200420​0121162220​022102240​010400420​012204220​0222042416​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​P∞=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​10.20.08570.200.05710.08570.05710​000000000​000000000​000000000​00.30.37860.310.33570.37860.33570​000000000​000000000​000000000​00.50.53570.500.60710.53570.60711​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​由于T是n的下界，故E(T)=0.53571​=4584​{XT​=2}={infn:Xn​=Yn​=2}故P{XT​=2}=0.3786初状态ϕ=[0​0​1​0​0​0​0​0​0​]P∞=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​0.03310.03310.03310.03310.03310.03310.03310.03310.0331​0.06610.06610.06610.06610.06610.06610.06610.06610.0661​0.08260.08260.08260.08260.08260.08260.08260.08260.0826​0.06610.06610.06610.06610.06610.06610.06610.06610.0661​0.13220.13220.13220.13220.13220.13220.13220.13220.1322​0.16530.16530.16530.16530.16530.16530.16530.16530.1653​0.08260.08260.08260.08260.08260.08260.08260.08260.0826​0.16530.16530.16530.16530.16530.16530.16530.16530.1653​0.20660.20660.20660.20660.20660.20660.20660.20660.2066​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​故处于相同状态的概率为p=0.0331+0.1322+0.2066=0.3719=12145​这也是处于相同状态时间的比例​

( a ) . 设 不 变 分 布 为 π ‾ ， 初 始 状 态 为 s ， 则 s P ∞ = π ‾ 而 r ‾ ( j ) = E [ I { X n = j } ] = s P n ( j ) = p n ( i , j ) 故 E [ ∑ n = 0 T − 1 I { X n = j } ] = ∑ n = 0 T − 1 E [ I { X n = j } ] = ∑ n = 0 T − 1 p n ( i , j ) 即 r ‾ = s ∑ n = 0 T − 1 P n 而 由 时 齐 性 可 得 r ‾ P = s ∑ n = 1 T P n = s ∑ n = 0 T − 1 P n = r ‾ ( b ) . 容 易 有 ∑ j ∈ S r ( j ) = ∑ j ∈ S E [ ∑ n = 0 T − 1 I { X n = j } ] = E [ ∑ j ∈ S ∑ n = 0 T − 1 I { X n = j } ] = E [ ∑ n = 0 T − 1 ∑ j ∈ S I { X n = j } ] 又 ∑ j ∈ S I { X n = j } ≡ 1 故 ∑ j ∈ S r ( j ) = E [ ∑ n = 0 T − 1 ∑ j ∈ S I { X n = j } ] = E ( T ) ( c ) . ∵ r ‾ = r ‾ P , 且 π ‾ = π ‾ P 故 r ‾ 与 π ‾ 线 性 相 关 ， 不 妨 r ‾ = k π ‾ 又 E ( T ) = ∑ j ∈ S r ( j ) 因 此 易 得 k = E ( T ) 而 r ( i ) = 1 ∴ r ( i ) = E ( T ) π ( i ) E ( T ) = π ( i ) − 1 \begin{aligned} (a).&设不变分布为\overline\pi，初始状态为\mathbf s，则\mathbf s\mathbf P^\infty=\overline\pi\\ &而\overline r(j)=E[I\{X_n=j\}]=\mathbf s\mathbf P^n(j)=p_n(i,j)\\ &故E[\sum_{n=0}^{T-1}I\{X_n=j\}]=\sum_{n=0}^{T-1}E[I\{X_n=j\}]=\sum_{n=0}^{T-1}p_n(i,j)\\ &即\overline r=\mathbf s\sum_{n=0}^{T-1}\mathbf P^n\\ &而由时齐性可得\overline r\mathbf P=\mathbf s\sum_{n=1}^{T}\mathbf P^n=\mathbf s\sum_{n=0}^{T-1}\mathbf P^n=\overline r\\ (b).&容易有\sum_{j\in S}r(j)=\sum_{j\in S}E[\sum_{n=0}^{T-1}I\{X_n=j\}]=E[\sum_{j\in S}\sum_{n=0}^{T-1}I\{X_n=j\}]=E[\sum_{n=0}^{T-1}\sum_{j\in S}I\{X_n=j\}]\\ &又\sum_{j\in S}I\{X_n=j\}\equiv1\\ &故\sum_{j\in S}r(j)=E[\sum_{n=0}^{T-1}\sum_{j\in S}I\{X_n=j\}]=E(T)\\ (c).&\because\overline r=\overline r\mathbf P,且\overline\pi=\overline\pi\mathbf P\\ &故\overline r与\overline\pi线性相关，不妨\overline r=k\overline\pi\\ &又E(T)=\sum_{j\in S}r(j)\\ &因此易得k=E(T)\\ &而r(i)=1\\ &\therefore r(i)=E(T)\pi(i)\\ &E(T)=\pi(i)^{-1}\\ \end{aligned} (a).(b).(c).​设不变分布为π，初始状态为s，则sP∞=π而r(j)=E[I{Xn​=j}]=sPn(j)=pn​(i,j)故E[n=0∑T−1​I{Xn​=j}]=n=0∑T−1​E[I{Xn​=j}]=n=0∑T−1​pn​(i,j)即r=sn=0∑T−1​Pn而由时齐性可得rP=sn=1∑T​Pn=sn=0∑T−1​Pn=r容易有j∈S∑​r(j)=j∈S∑​E[n=0∑T−1​I{Xn​=j}]=E[j∈S∑​n=0∑T−1​I{Xn​=j}]=E[n=0∑T−1​j∈S∑​I{Xn​=j}]又j∈S∑​I{Xn​=j}≡1故j∈S∑​r(j)=E[n=0∑T−1​j∈S∑​I{Xn​=j}]=E(T)∵r=rP,且π=πP故r与π线性相关，不妨r=kπ又E(T)=j∈S∑​r(j)因此易得k=E(T)而r(i)=1∴r(i)=E(T)π(i)E(T)=π(i)−1​