48、具有空间扩展的松弛次梯度法的机器学习算法

具有空间扩展的松弛次梯度法的机器学习算法

1. 引言

在优化问题中，我们常常需要最小化一个凸函数 ( f(x) )，其中 ( x \in \mathbb{R}^n )，这个函数不一定是可微的。对于这类非光滑优化问题，有多种解决方法。其中一种可能的途径是基于光滑近似，而Shor提出的迭代次梯度最小化算法则是另一种重要的方法，并且该算法在后续得到了进一步的发展和总结。

空间扩展（膨胀）方法，也称为r - 算法，基于在特定方向上的连续扩展。该方法构建了一个线性变换，在每次迭代时改变空间的度量，并使用变换后空间中与次梯度相反的方向。对于凸函数，这个方向与从给定点到最小值点的方向形成锐角。

最早的松弛次梯度最小化方法（RSMMs）被提出后，其具有空间扩展的版本催生了许多有效的方法，例如在次梯度方向上具有空间扩展的次梯度方法。引入机器学习（ML）理论的概念，构建了一系列有效的RSMMs，并为其发展奠定了理论基础。

在RSMM中，连续近似公式为：
[ x_{k + 1} = x_k - \gamma_k s_{k + 1}, \quad \gamma_k = \arg \min_{\gamma} f(x_k - \gamma s_{k + 1}) ]
其中，( x_0 ) 是给定的起始点，( k ) 是迭代次数，( \gamma_k ) 是步长，下降方向 ( s_{k + 1} ) 是不等式系统 ( (s, g) > 0, \forall g \in G ) 的解。这里，( G ) 是在算法下降轨迹上点 ( x_k ) 处计算得到的次梯度集合。

对于光滑函数，次梯度集合只包含一个梯度向量，无约束问题的次梯度方法使用的搜索方向与最