6、李雅普诺夫稳定性与随机最优控制背景知识

李雅普诺夫稳定性与随机最优控制背景知识

1. 李雅普诺夫稳定性相关概念

1.1 平衡点定义

若对于系统 (f(x_e, k) = 0)（(k \geq k_0)）能以高概率成立，则状态 (x_e) 为系统的平衡点。若 (x_0 = x_e)，即系统从平衡状态开始，那么它将以一定概率永远保持在该状态。对于线性随机系统，唯一可能的平衡点 (x_e = 0) 的概率较高；对于非线性系统，(x_e) 可能不为零，甚至可能存在一个平衡集，如极限环。

1.2 稳定性类型

• 均方渐近稳定（Asymptotic Stable in the Mean Square） ：若存在集合 (S^n \subset \mathbb{R})，对于每个初始条件 (x_0 \in S)，有 (E{|x(k) - x_e|^2} \to 0)（当 (k \to \infty)），其中 (E{\cdot}) 是期望算子，即状态 (E{x(k)}) 收敛到 (E{x_e})。若 (S^n = \mathbb{R})，使得对于所有 (x(k_0)) 都有 (E{x(k) \to E{x_e})，则称 (E{x_e}) 在 (k_0) 时刻是全局均方渐近稳定（GAS）的。
• 均方李雅普诺夫稳定（Lyapunov Stable in the Mean Square） ：对于每个 (\epsilon > 0)，存在 (\delta(\epsilon, x_0))，使得 (E{|x_0 - x_e|^2} < \delta(\epsilon, k_0)) 意味着对于 (k \geq