离散LQR：原理，求解与拓展

该文档用以总结离散LQR的基本原理，反馈控制率的求解和一些拓展（时变系统，跟踪命题等）。主要参考的是Stanford的课程EE363: Linear Dynamical Systems的部分课件。

目录

---

1 有限时域离散LQR的基本原理

这里我们首先考虑一个离散的线性系统：

$$x_{t+1}=Ax_{t}+Bu_t, x_0 = x^{init}$$
LQR的目标就在于，找到一组控制序列 $u_0, u_1, ...$ 能够使得：

• $x_0, x_1, ...$ 尽量小，即将状态调节到零点；
• $u_0, u_1, ...$ 尽量小，即控制器付出较小的努力；

然而，这两个目标往往是冲突的，因为较大的控制作用$u$ 能更快地将状态调节到零点。因此LQR就是根据需要设计出一组控制率来实现上面两个目标的权衡。

为此，我们定义如下的二次代价函数（quadratic cost function）：

$$J(U)= \sum_{\tau=0}^{N-1} {(x_{\tau}^TQx_{\tau}+ u_{\tau}^TRu_{\tau})} +x_N^{T}Q_fx_N$$ 这里 $U=(u_0, u_1, ...,u_{N-1})$，且

$$Q=Q^T \ge 0, \quad Q_f = Q_f^T\ge 0, \quad R=R^T \gt0$$ 分别被称为 state cost, final state cost, input cost 矩阵。

代价函数中的三项分别用来衡量状态偏差，输入偏差以及最终状态偏差。$Q$ 和 $R$ 用来确定状态和输入的相对权重。
因此，LQR的问题就是，找到一组序列：$u_0^{\text{lqr}}, ..., u_{N-1}^{\text{lqr}}$ 来最小化代价函数 $J(U)$。

通常 $Q$ 和 $R$ 的形式为：

$$R=\rho I, \quad Q=Q_f=C^TC$$ 这里 $C \in \mathbf R^{p\times n}, \quad \rho \in \mathbf R, \quad \rho \gt 0$。

于是，代价函数就可以变形为：

$$J(U)= \sum_{\tau=0}^N {\lVert y_{\tau} \rVert ^2}+ \rho \sum_{\tau=0}^{N-1} {\lVert u_{\tau} \rVert ^2}$$ 这里 $y=Cx$， $\sqrt{\rho}$ 在这里给出了输出和输入的相对权重。

2 基于动态规划（Dynamic Programming）的求解

LQR命题也可以通过最小二乘（least-squares）的方法求解，但这里我们只讨论基于动态规划的求解方法。
这里我们首先定义一个价值函数（value function）$V_t : \mathbf R^n \to \mathbf R$

$$V_t(z) = \min_{u_t,...,u_{N-1}} \sum_{\tau=t}^{N-1}{(x_{\tau}^TQx_{\tau}+ u_{\tau}^TRu_{\tau})} +x_N^{T}Q_fx_N$$ 满足约束 $x_t=z, x_{\tau+1}=Ax_{\tau}+Bu_{\tau}, \tau = t, ..., N-1$

即，$V_t(z)$ 给出的是从 $t$ 时刻的状态 $z$ 开始的LQR的代价函数。当 $t=0$ 时，$V_0(x_0)$ 就是原始的LQR代价函数。

我们可以证明 $V_t$ 是二次型，即$V_t(z)=z^TP_tz$，其中 $P_t=P_t^T\ge0$。
首先，我们可以知道，当 $t=N$ 时有：

$$V_N(z) = z^TQ_fz$$ 因此我们有 $P_N=Q_f$ 。

现在我们假设$V_{t+1}(z)$ 已知，根据动态规划（DP）的原理，有：

$$V_t(z) = \min_w (z^TQz+w^TRw+V_{t+1}(Az+Bw))$$

• $z^TQz+w^TRw$ 是从当前时刻的代价值
• $V_{t+1}(A+Bwz)$ 是从下一时刻到 $N$ 时刻的代价值。

因此这就是一个典型的动态规划问题。

因为当前状态 $z$ 与优化命题无关，因此上面的优化命题也可以改写为：

$$V_t(z) = z^TQz+\min_w (w^TRw+V_{t+1}(Az+Bw))$$ 也就是说，当前时刻 $t$ 的控制率 $u_t$ 取值应该如下： $$u_t^{\text {lqr}} =\arg \min_w (w^TRw+V_{t+1}(Az+Bw))$$

假设$V_{t+1}(z)=z^TP_{t+1}z, \quad P_{t+1}=P_{t+1}^T\ge0$，我们可以证明$V_t$ 具有同样的形式。
将$V_{t+1}(z)=z^TP_{t+1}z$ 代入上面$V_t(z)$ 的表达式，即有：

$$V_t(z) = z^TQz+ \min_w (w^TRw+(Az+Bw)^TP_{t+1}(Az+Bw))$$
对于这样一个无约束的凸优化命题令其导数等于0即可以得到最优解。导数等于0得到的等式为： $$2w^TR+2(Az+Bw)^TP_{t+1}B =0$$
因此，当前时刻的最优控制率为： $$w^* = -(R+B^TP_{t+1}B)^{-1}B^TP_{t+1}Az$$

将上面的结果代入$V_t(x)$ 的表达式，即

$$\begin{align} V_t(z) & = z^TQz+{w^*}^TRw^*+ (Az+B{w^*})^TP_{t+1}(Az+B{w^*}) \\ & = z^T(Q+A^TP_{t+1}A-A^TP_{t+1}B(R+B^TP_{t+1})^{-1}B^TP_{t+1}A)z \\ & = z^TP_tz \end{align}$$
其中，$P_t=Q+A^TP_{t+1}A-A^TP_{t+1}B(R+B^TP_{t+1})^{-1}B^TP_{t+1}A$

容易证明 $P_{t}=P_{t}^T\ge0$

因此，LQR的求解过程可以总结如下：

1. set $P_N :=Q_f$
2. for $t=N,... , 1,$ $$P_{t-1}:=Q+A^TP_{t}A-A^TP_{t}B(R+B^TP_{t})^{-1}B^TP_{t}A$$
3. for $t=0,...,.N-1$ , define $K_t:=-(R+B^TP_{t+1}B)^{-1}B^TP_{t+1}A$
4. for $t=0,...,.N-1$ , $u_t^{\text{lqr}}=K_tx_t$

从上面的推导我们可以看出，LQR中，最优控制率是状态的线性反馈。

当$t$ 远小于 $N$ 的时候，稳态的 $P_{ss}$ 可以近似收敛并满足下面的方程：

$$P_{ss}=Q+A^TP_{ss}A-A^TP_{ss}B(R+B^TP_{ss})^{-1}B^TP_{ss}A$$ 这个方程被称为代数黎卡提方程（algebraic Riccati equation, ARE）。
因此，当时刻 $t$ 距时域终点 $N$ 较远时，LQR的控制率可以近似看作状态 $x$ 的常数反馈，即 $$u_t = K_{ss}x_t, \quad K_{ss}=-(R+B^TP_{ss}B)^{-1}B^TP_{ss}A$$

3 一些拓展

针对时变系统

$$x_{t+1}=A_tx_{t}+B_tu_t$$
我们可以定义对应的时变代价函数 $$J= \sum_ {\tau=0}^{N-1} {(x_{\tau}^TQ_{\tau}x_{\tau}+ u_{\tau}^TR_{\tau}u_{\tau})} +x_N^{T}Q_fx_N$$

可以看到，终点时刻的加权阵 $Q_f$ 并没有发生变化，因此前面根据DP推导得到的LQR的架构可以直接拓展到时变系统。显然，前面提到的稳态情况下的常值反馈在时变系统中将不复存在。

---

针对跟踪命题，代价函数可以写成

$$J= \sum_{\tau=0}^{N-1} {(x_{\tau}-\bar x_{\tau})^TQ_{\tau} (x_{\tau}-\bar x_{\tau})+ \sum_{\tau=0}^{N-1}(u_{\tau}-\bar u_{\tau})^TR_{\tau}(u_{\tau}-\bar u_{\tau})}$$
（简要起见这里舍去了终端状态的代价）
其中，$\bar x_{\tau}$ 和 $\bar u_{\tau}$ 分别是状态和输入要跟踪的轨迹。
通过一些附加的推导，前面DP推导的结果也可以运用在这样的跟踪命题中。

Ref.
Stanford, EE363: Linear Dynamical Systems