Piccaboo的博客

找到让优化指标Lu（标量）达到最小值的控制量u。

将前述优化问题推广到动态系统中去，其中的约束fxu变成了由系统物理约束等固有条件决定的。

从Hamilton函数开始：由上一篇文章中的求解顺序：可以得到最优控制序列跟协状态有关：为了解决控制问题，需要知道协状态λk1λk1​。但此处的问题是：状态式(2.2-8)和协状态式(2.2-5)在时间上分别是前向递归和后向递归的，很难求解。由于对连续系统采样，无论何时∣A∣≠0|A|\neq0∣A∣0，故可以将两式改写成：这是后向递归的形式，因此当知道xNx_NxN​和λN\lambda_NλN​时，可以求出xkx_kx。

在前述推广到离散系统的基础上，回归到确定最优控制序列的问题上，分别对终端状态确定和不确定两种情况进行具体地讨论。

对于终端状态不确定的LQ问题，求解步骤总结如下：对于the final-state weighting matrixSkS_kSk​的原始形式，可以采用Kalman Gain改写：其等价于Joseph stabilized version of the Riccati equation：其求解起来具有更优的数值求解性能。

最优策略的任意后部子策略都是子策略，即无论以前状态决策如何，从当前直到最后的每个决策必构成最优子策略。

连续系统表述为：其性能指标写作：（这个地方为什么是J(0)?）对于连续系统的动态规划问题，求解思路有两种：1）先离散化，求解离散系统的最优控制，再利用零阶保持器制造数字控制；2）直接解决连续最优控制问题获得连续输入可以利用一阶近似（欧拉近似）对系统(6.3-1)进行离散化，采样时间设为τ\tauτ：为了表示方便，定义xk=x(kτ),uk=u(kτ)x_k=x(k\tau),u_k=u(k\tau)xk​=x(kτ),uk​=u(kτ)，有：若再定义：则有了式（6.2-1）的形式：如果让N=TτN

本节主要阐述连续系统动态规划的第二种求解思路，其系统及性能指标形式为：目的是：找到区间t0​T上的连续控制量u∗t使性能指标J最小，且使状态xt0​。

自适应动态规划（Adaptive Dynamic Programming）1.ADP基础1）简介Werbos提出，利用函数近似结构逼近动态规划方程中的性能指标函数和控制策略，以满足最优性原理，从而时间向前(Forward-in-time) 获得最优控制和最优性能指标函数。主要解决无限域最优控制问题（没有终点，即使有也需要运算无数次才能到起点）：无限域最优控制问题的Bellman最优性原理表示为：HJB方程表示为：2）基本原理自适应动态规划整个结构包括三个部分，整个过程是自学习的。三部

可以通过值迭代和策略迭代的方法实现求解。

值迭代通过先给定值函数V，策略迭代先给定控制率u两者原理上类似，都采用控制率u更新迭代，使V最终收敛的方式逼近最优性能指标。