51、数值动态规划的进展与新应用

数值动态规划的进展与新应用

1. 引言

动态经济问题本质上是多阶段决策问题，其非线性特性使得数值求解颇具挑战。动态规划是解决时间可分问题的标准方法。当状态变量和控制变量连续，且问题为凹最大化问题时，其价值函数连续、凹且通常可微。然而，由于计算机无法对整个连续函数空间进行建模，任何数值方法对价值函数的近似都是不完美的。许多动态规划问题通过价值函数迭代来求解，即根据 $t + 1$ 期的价值函数计算 $t$ 期的价值函数，且终端时刻 $T$ 的价值函数是已知的。

动态规划问题通常可以用贝尔曼方程来表述：
[
V_t(x, \theta) = \max_{a \in D(x, \theta, t)} u_t(x, a) + \beta E \left[ V_{t + 1}(x^+, \theta^+) | x, \theta, a \right]
]
[
\text{s.t. } x^+ = g_t(x, \theta, a, \omega), \theta^+ = h_t(\theta, \epsilon)
]
其中，$x$ 是 $\mathbb{R}^d$ 中的连续状态变量向量，$\theta$ 是离散状态向量集合 $\Theta = { \theta_j : 1 \leq j \leq D } \subset \mathbb{R}^{d’}$ 中的元素，$V_t(x, \theta)$ 是 $t \leq T$ 时刻的价值函数，终端价值函数 $V_T(x, \theta)$ 是给定的。决策者选择行动变量向量 $a$，其选择受限于 $a \in D(x, \theta, t)$。$x^+$ 表示下一期连续状态变量的值，$\theta