23、通信约束下非线性二人零和博弈的最优设计

通信约束下非线性二人零和博弈的最优设计

1 传统随机最优控制设计

在非线性二人零和博弈中，系统状态的更新可以用以下公式表示：
[
x_{DT,k + 1} = f_{DT}(x_{DT,k}) + g_{DT}(x_{DT,k})u_{DT,k} + h_{DT}(x_{DT,k})d_{DT,k}
]
其中，(x_{DT,k})、(u_{DT,k})、(d_{DT,k})分别代表系统状态、控制输入和干扰信号，(f_{DT}(x_{DT,k}))、(g_{DT}(x_{DT,k}))、(h_{DT}(x_{DT,k}))则分别表示离散时间下的确定性内部动态、控制和干扰系数矩阵。

根据传统的最优控制理论，对于二人零和博弈的有限时域最优策略，可以通过最小化确定性等价随机价值函数来推导，该函数的表达式如下：
[
V(x_{DT,k}, k) = E\left[\varphi(x_{DT,N}) + \sum_{l = k}^{N - 1}r(x_{DT,l}, u_{DT,l}, d_{DT,l})\right]
]
其中，(r(x_{DT,k}, u_{DT,k}, d_{DT,k}) = Q_{DT}(x_{DT,k}) + u_{DT,k}^TR_{DT}u_{DT,k} - d_{DT,k}^TS_{DT}d_{DT,k})，(NT_s)是最终时间点，(Q_{DT}(x) \geq 0)，(\varphi_N(x) \geq 0)，(R_{DT})和(S_{DT})是对称正定矩阵。与无限时域设计不同，(\varphi_N(x))是有限时域二人零和博弈最优设计中需要满足的终端约束。

基于动态规划技术，