53、在线非线性系统的样本高效安全学习

在线非线性系统的样本高效安全学习

在在线学习场景中，我们常面临为非线性系统学习映射 $W^{\star} \in R^{n \times r}$ 的挑战，目标是通过数据驱动的方法实现概率安全保证并最小化成本。接下来，我们详细探讨这一学习过程及相关算法。

学习框架

我们采用标准的在线学习设置，在有限时间范围的学习框架中，从初始化 $W^0$ 开始，它用于参数化 $d_0(x, u) := W^0\varphi(x, u)$。在每个回合 $t$ 中，学习者会提出一个策略 $\pi_t \in \Pi$（可能基于当前对 $W^t$ 的猜测 $d_t(x, u)$），并在真实系统中执行该策略，生成一个长度为 $H$ 时间步的轨迹 ${x_t^0, u_t^0, \ldots, x_t^{H - 1}, u_t^{H - 1}}$。然后，学习者利用所有过去轨迹的观测值逐步更新模型参数到 $W^{t + 1}$，并从相同的初始状态 $x \leftarrow x_0$ 开始进入下一个回合 $t + 1$。

目标有两个：一是确保策略 $\pi_t$ 满足控制障碍函数（CBF）约束（式 4），即具有高概率的安全性；二是在多个回合中优化成本函数，使累积遗憾 $Regret_T$ 相对于回合数 $T$ 呈亚线性增长。累积遗憾的定义如下：
[Regret_T := \sum_{t = 0}^{T - 1} \sum_{h = 0}^{H - 1} c(x_t^h, u_t^h) - \sum_{t = 0}^{T - 1} J_{\pi^{\star}}(x_0; c) = o(T)]
这意味着从长远来看（当 $T \to \infty$），学习者产生的平均回合成本与基于真实动力学