58、序贯决策理论：反馈规划与不确定性处理

序贯决策理论：反馈规划与不确定性处理

在实际决策场景中，由于自然因素带来的不确定性，使得决策过程变得复杂。为了应对这种不确定性，我们需要深入探讨相关的理论和方法，包括前向投影、后向投影、规划的定义与执行，以及计算反馈规划的算法等内容。

1. 前向投影和后向投影

前向投影是刻画规划执行过程中行为的有用概念。在考虑不确定性之前，规划会按预期精确执行，应用一系列动作到初始状态后，可通过状态转移方程计算出结果状态序列。但现在状态转移不可预测，我们需要设想未来几个阶段可能出现的状态。

1.1 非确定性前向投影

假设初始状态 $x_1 = x_I$ 已知，若应用动作 $u_1 \in U$，则可能的下一状态集合为：
$X_2(x_1, u_1) = {x_2 \in X | \exists\theta_1 \in \varTheta(x_1, u_1) \text{ 使得 } x_2 = f (x_1, u_1, \theta_1)}$

若再应用动作 $u_2 \in U$，则从 $x_1$ 先应用 $u_1$ 再应用 $u_2$ 可能到达的状态集合为：
$X_3(x_1, u_1, u_2) = {x_3 \in X | \exists\theta_1 \in \varTheta(x_1, u_1) \text{ 且 } \exists\theta_2 \in \varTheta(x_2, u_2) \text{ 使得 } x_2 = f (x_1, u_1, \theta_1) \text{ 且 } x_3 = f (x_2, u_2, \theta_2)}$

为了方便递归计算，设动作历史 $\tilde{u}