16、部分信息下的有限时域控制问题解析

部分信息下的有限时域控制问题解析

1. 引言

在许多实际系统中，如排队系统、呼叫中心或电信网络，常被建模为连续时间和离散状态空间的马尔可夫链。然而，这些系统的状态过程往往难以直接观测。例如，在准入控制模型中，门卫仅知道被接纳的客户是否找到空闲服务器，而不清楚服务何时完成；在库存模型中，只能得知库存水平是否为空；在 TCP 互联网系统的拥塞路径建模中，也存在类似的信息不完整情况。

在这种不完整信息的系统中，我们考虑一个更通用的框架。底层状态过程是一个马尔可夫跳跃过程，通过另一个马尔可夫跳跃过程进行估计。观测过程的每个状态代表未观测状态的一个组，未观测过程的跳跃可能导致观测状态的变化。基于此状态过程，我们面临一个固定有限时域的控制问题，但由于信息结构不完整，无法直接求解。

本文将展示如何借助条件概率将该问题转化为具有完整信息的模型，并揭示原始模型与简化模型之间的关系，同时给出条件概率的显式公式。

2. 模型介绍

2.1 状态过程 (X_t)

在可测空间 ((\Omega, F)) 上，考虑一个取值于有限集的过程 ((X_t))，为数学处理方便，将其标识为 (S_X := {e_1, \ldots, e_n})，其中 (n \in \mathbb{N})，(e_i) 是 (\mathbb{R}^n) 中的第 (i) 个单位向量。(X_t = (X_1^t, \ldots, X_n^t)) 是一个纯跳跃过程，其特征由进入和离开状态 (e_i) 的跳跃次数决定，即：
[X_i^t = \sum_{j = 1}^{n} N_X^t(j, i) - \sum_{j = 1}^{n} N_X^t(i, j)]