47、数据驱动的近似最优轨迹跟踪方法

数据驱动的近似最优轨迹跟踪方法

1. 引言

ADP算法在最优跟踪控制问题中应用广泛，但存在一些局限性。策略迭代算法需要初始策略，价值迭代的收敛速度通常较慢，且现有的强化学习方法在初始时间段通常需要PE条件，这些特性限制了ADP算法的实际应用。因此，提出了一种基于DDP算法的新方法来消除这些限制。近年来，DDP算法作为解决维数灾难的有效方法，已广泛应用于多级水库控制和导弹制导律设计，但由于其应用依赖可靠的模型知识，尚未用于研究不确定系统的跟踪问题。本文提出一种基于DDP算法的无模型方法来获得最优控制函数。

2. 问题描述

考虑一类连续时间非线性仿射系统：
$\dot{x} = h(x) + g(x)u$
其中，$x \in R^n$ 是状态，$u \in R^m$ 是控制输入。函数 $h : R^n \to R^n$ 和 $g : R^n \to R^{n×m}$ 是局部Lipschitz的，且 $h(0) = 0$。系统动态 $h(x)$ 是未知的连续矩阵函数，$g(x)$ 是已知的输入增益矩阵。

给定期望轨迹 $x_d \in R^n$，定义跟踪误差为 $e \triangleq x - x_d$，则跟踪误差动态可写为：
$\dot{e} = H(e) + G(e)u = f(e, u)$
其中，函数 $H : R^n \to R^n$ 和 $G : R^n \to R^m$ 定义为：
$H(e) \triangleq h(e + x_d) - \dot{x}_d$
$G(e) \triangleq g(e + x_d)$

最优控制问题的目标是找到一个策略 $u^*$ 来最小