踏上取经路，比抵达灵山更重要🐱‍👤

​ 这又构成了一个新的LQR方程，只不过这里输入量，变成了▲u[k].目标为非常数的时候，如何处理呢？

​ 到这儿，给出的J中可以看出，不再以u[k]直接作为系统的代价了，而是以▲u[k]作为系统的代价，也就是以系统的输入偏离稳态输入的部分作为系统的代价。​ 由上图，可以知道，R过大会导致系统躺平，继而无法追踪目标。导致最后会存在一个稳态误差。​ 这部分引入了一个稳态输入的概念，一个典型的二阶欠阻尼系统。​ 如果控制输入不是一个常数呢？就是没有一个稳态输入怎么办呢？​ 至此，就可以建立一个新的增广向量的状态空间方程。所以这期聚焦于对于输入的修改。​ 主要问题是，它直接把系统的输入。

​ 这个目标函数或者说代价函数的，前半部分是误差的终止代价，后面部分误差和控制量的运行代价。​ 所以，由上述两个式子，可以看到一个扩展向量的状态空间方程，其中这个系统的输出是。​ 所以，就本质上而言，所有目标不为0的控制方案，都是轨迹追踪控制方案。​ 调节器的作用，是将系统的目标归零。​ 两个测试，都没有办法让x1稳定在1的位置，需要持续的施加拉力。​ R过大，会导致，u[k]趋向于0，致使系统“躺平”。没说为啥，这似乎是一个新的，扩展向量的状态空间。​的LQR控制器研究，也是需要一定技巧的。

搭建系统的仿真环境。

​ 通过逆向分级的方法，以及贝尔曼最优的理论，将最优性放到每一个步骤当中，从上面分析可以知道，所谓的线性，就是系统是线性的，一个典型的离散线性系统的状态空间方程如下。为了方便使用逆向分级的方法，将J从k=0开始，改成从k=k开始。对于一个调节器而言，其目标xd是0，所以J可以表示如下。所谓的二次型，是目标函数或者说代价函数是二次型的。​ 至此，上述问题转换成了，求解每次的最优控制输入。将得到的最优的u[N-1]带入J中可知。最优的同时，控制输入。求解最优的u[N-1]最优的同时，控制输入。

之前的内容，讨论了动态规划的数值方法求解最优解的过程，这次讨论一个的例子。

运行之后，

​ 引入了cost to go的 概念，引入了超过a的处理方法，引入了两个方法的比较。​ 动态，强调面向未来，不管你之前做的好或者不好，你后续的决策都一定是最优的。​ 那么我们需要找到一个轨迹，既能满足约束条件，又能时间最小。​ 将所有的情况，都暴力算出来，然后计算J之后比较。​ 不管初始怎么样，最后的阶段都会趋于最优稳定。​ 跑迷宫的时候，一般都是从终点开始。将控制系统离散化，如下图。

所以，根据这条思路，就能够建立一个目标状态和控制器控制出来的状态的差值或者说状态变量的代价，继而就有了代价函数。​ 但是实际控制应用中，每一个状态变量的重要性不同，可以利用二次型的概念，引入一个新的半正定的矩阵来控制不同的状态变量的重要性。​ 对比新的J和旧的J可以看出，给每个项都添加了一个系数，如果S是一个单位矩阵，就跟旧的J一摸一样。最常用的模型，下面建立他的状态空间方程。​ 可以看到，所谓轨迹跟踪，其实就是 x[k]->x[d]的过程。​ 这里也有硬约束的概念，其实所谓的硬约束，就是要始终满足的。