【RL初学-2】处理分段线性的Lyapunov函数的Subgradient方法

Subgradient方法是一种用于解决非光滑凸优化问题的迭代算法。与传统的梯度下降法不同，subgradient方法适用于目标函数不一定可微的情况。

1. 基本概念

• 凸函数：一个函数 $f:{\mathbb{R}}^n\to \mathbb{R}$是凸的，如果对所有 $x,y\in {\mathbb{R}}^n$和 $\lambda \in [0,1]$，都有
  $f(\lambda x+(1-\lambda )y)\le \lambda f(x)+(1-\lambda )f(y).$

• subgradient：对于一个非光滑函数 $f$，一个向量 $g$ 称为 $f$在点 $x$ 的subgradient，如果对于所有 ( $y$ ) 都有

  $f(y)\ge f(x)+g^T(y-x).$

  这意味着 ( $g$ ) 可以视为在 ( $x$ ) 点的“斜率”，用于描述函数在该点的变化情况。

• subdifferential：函数 ( $f$ ) 在点 ( $x$ ) 的subdifferential，记作 ( $\partial f(x)$ )，是所有subgradient的集合。

2. 算法步骤

Subgradient方法的基本步骤如下：

1. 初始化：

   • 选择一个初始点 ( $x_0$ )。
   • 选择步长序列 ${\alpha }_k$，一般要求 ( ${\alpha }_k>0$ )。

2. 迭代：

   • 对于每个迭代 ( $k=0,1,2,\dots$ )，执行以下步骤：

     1. 计算subgradient ( $g_k\in \partial f(x_k)$ )。

     2. 更新点：

        $x_{k+1}=x_k-{\alpha }_k{g}_k.$

3. 停止条件：

   • 当满足某个停止条件（如达到最大迭代次数或目标函数收敛）时停止迭代。

3. 步长选择

步长的选择对算法的收敛性至关重要。常用的选择方式有：

• 固定步长：例如 ( ${\alpha }_k=\alpha$ )，其中 ( $\alpha$ ) 是一个小的常数。
• 逐渐减小的步长：例如 ( ${\alpha }_k=\frac{a}{k+b}$ )，其中 ( $a,b$ ) 是常数。
• 自适应步长：根据历史信息动态调整步长。

4. 收敛性

Subgradient方法的收敛性通常比较慢，尤其是在高维空间中。为提高收敛速度，可以采用一些变体，如：

• Nesterov加速梯度方法：通过引入动量项加速收敛。
• 随机subgradient方法：在每次迭代中随机选择一个点来计算subgradient，从而减少计算成本。

5. 应用

Subgradient方法广泛应用于多个领域，如：

• 机器学习：优化支持向量机（SVM）和其他非光滑目标函数。
• 信号处理：解决非光滑的信号重建问题。
• 经济学：优化资源配置等。

总结

Subgradient方法是一个强大的工具，适用于处理非光滑凸优化问题。通过合理选择步长和改进策略，可以有效地求解复杂的优化问题。