HXifyou的博客

摘要 本文分析了马尔可夫链中状态空间的分解与互通性。根据状态返回概率和平均返回时间，将状态分为常返（正常返、零常返）和非常返两类。闭集定义为无法离开的状态集合，不可约闭集则是无法再分解的最小闭集。通过示例说明了状态空间的分解方法，将状态集合划分为互通的闭集和非闭集，并讨论了各子集的周期性、常返性等特性。这种分解方法有助于理解马尔可夫链的结构特性。

本文探讨了马尔可夫链中的状态互达性、等价关系和不可约性。通过生成函数推导了状态返回概率与首达概率的关系式，定义了常返态（$f_{ii}=1$）与非常返态（$f_{ii}<1$）的判别条件，并进一步区分了正常返（有限平均返回时间）和零常返状态。通过状态转移图示例展示了状态等价类的划分方法（如${1,4}$、${3}$等），阐述了闭集（如${3}$）和不可约集的定义。最后指出，若闭集可分解为更小的闭集则为可约，否则为不可约。文中用多个状态转移图实例说明了这些概念的划分标准。

本文摘要介绍了马尔可夫链的基本概念与性质。首先定义了马尔可夫链的马氏性和时齐性，说明状态转移概率仅依赖前一状态（马氏性）且与时间无关（时齐性）。通过转移矩阵表示状态转移概率，并推导多步转移矩阵可通过矩阵乘法获得。其次讨论了CK方程和绝对概率状态，以赌徒破产和疾病状态转移为例说明应用。最后分析状态分类，引入首达概率和周期概念，通过具体例子说明常返态与非常返态的判定方法。全文系统阐述了马尔可夫链的核心理论框架及其应用场景。

本文主要讨论了更新过程中的卷积运算及其应用。首先介绍了卷积在概率密度函数中的定义，特别是独立随机变量之和的分布卷积公式。随后探讨了半轴卷积的特殊情况及其在泊松过程中的应用，包括时间间隔、到来时间和总个数等概念。通过更新次数与时间的转换关系，推导了平均更新次数$M(t)$的表达式，并建立了更新方程$M(t) = F(t) + M(t)*F(t)$。最后，利用卷积运算和分布函数，给出了更新方程的详细推导过程。

对象集VVV：向量的集合（元素可以是函数、序列、矩阵等）辅助集FFF：标量域（常取实数域R\mathbb{R}R或复数域C\mathbb{C}C提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

② 独立、平稳增量（stationary + independent increments）；这说明“在极小区间里，几乎只可能有 0 次或 1 次到达，而且概率正比于区间长度。也就是说，这段笔记推导的目的就是 ——，从而得到 NHPP 的概率律。

基础概念回顾均值函数 mX(t)=E[Xt].m_X(t)=\mathbb{E}[X_t].mX​(t)=E[Xt​].协方差函数 BX(s,t)=E ⁣[(Xs−E[Xs])(Xt−E[Xt])].B_X(s,t)=\mathbb{E}\!\left[(X_s-\mathbb{E}[X_s])(X_t-\mathbb{E}[X_t])\right].BX​(s,t)=E[(Xs​−E[Xs​])(Xt​−E[Xt​])].相关函数 RX(s,t)=E[XsXt].R_X(s,t)=\mathbb

随机过程课堂杂记