15、最优控制中的动态规划与最大值原理

最优控制中的动态规划与最大值原理

在控制理论中，动态规划和最大值原理是解决最优控制问题的重要方法。下面将详细介绍脉冲控制的动态规划以及最大值原理在不同控制问题中的应用。

1. 脉冲控制的动态规划

对于脉冲控制问题，存在一个最优策略 $\hat{\pi}$，使得价值函数 $\hat{v}(x)$ 满足：
$\hat{v}(x) = \int_{0}^{+\infty} e^{-\alpha s} g(z_x(s)) ds = J(\hat{\pi}, x)$
若 $\hat{t} 1 < \hat{t}_2 < \cdots < \hat{t}_m < \hat{t} {m + 1} = +\infty$，且 $z_{\hat{w} m}(t) \notin \hat{K}$ 对所有 $t \geq 0$ 成立，则有：
$\hat{v}(\hat{w}_m) = \int {0}^{+\infty} e^{-\alpha s} g(z_{\hat{w} m}(s)) ds$
通过恒等式 (11.17) 可得：
$\hat{v}(x) = \int {0}^{\hat{t} m} e^{-\alpha s} g(y {\hat{\pi}, x}(s)) ds + \sum_{i = 0}^{m} e^{-\alpha \hat{t} i} c(\hat{x}_i, \hat{w}_i) + e^{-\alpha \hat{t}_m} \int {0}^{+\infty} e^{-\alpha s} g(z_{\hat{w}