优化算法——截断梯度法(TG)

最新推荐文章于 2024-07-02 14:55:27 发布

xiewenbo

最新推荐文章于 2024-07-02 14:55:27 发布

阅读量1.9k

点赞数

分类专栏：机器学习和数据挖掘

机器学习和数据挖掘专栏收录该内容

64 篇文章

订阅专栏

本文探讨了L1正则化的两种表达形式及其在产生稀疏解的优势，并介绍了流式在线学习流程与随机梯度下降法。此外，还详细讨论了截断梯度法，包括简单截断、L1-Regularized次梯度及具体的截断梯度法。

 
 目录(?)[-]
一L1正则的表达形式 
   convex-constraint formulation
soft-regularization
 
二处理大数据的方法 
   流式在线学习的流程
随机梯度下降法
 
三截断梯度法Truncated Gradient 
   简单截断Simple coefficient Rounding
L1-Regularized Subgradient次梯度
截断梯度法Truncated Gradient
 
参考文献

一、L1正则的表达形式

在机器学习中，几乎无人不知无人不晓L1正则与L2正则，L1正则与L2正则都有参数控制的作用，对模型起到约束的作用，防止过拟合。但是L1正则与L2正则也有区别，L1正则更容易产生稀疏解，使得某些参数等于0，而L2正则却没有这样的优势，只能使得参数趋近于0。利用这样的优势可以使得L1具有特征选择的作用，若某些特征的系数为0表示该维特征对于模型没什么作用，故此可以丢弃。

L1正则与L2正则相比具有了更多的优点，同时，L1正则的优化相对L2正则来讲，也变得更加难。对于L2正则，由于正则项是可导的，因此博客中的基于梯度的优化算法，如梯度下降法，牛顿法，拟牛顿法(DFP算法，BFGS算法，L-BFGS算法)都可以直接用于求解带有L2正则的优化问题。L1正则项是不可导的，因此前面的这些算法无法直接对其进行求解，因此需要对其进行修改才能用来求解带有L1约束的优化问题。带有L1正则的表达式主要有以下两种：

1、convex-constraint formulation

$\hat{w}=\underset{w}{argmin}\sum_{i=1}^{n}L\left ( w_i,z_i \right )$

$s.t.\; \left \| w \right \|_1\leqslant s$

其中， $L$ 表示损失函数

2、soft-regularization

$\hat{w}=\underset{w}{argmin}\sum_{i=1}^{n}L\left ( w_i,z_i \right )+g\left \| w \right \|_1$

当选择合适的参数 $g$ 时，正两种表达形式是等价的。

二、处理大数据的方法

由于数据量比较大，可能已经超出了内存的大小，此时无法将数据全部装入到内存中参与计算，主要有两种方法处理大数据问题

在很多机器上并行批学习
利用流式的在线学习

1、流式在线学习的流程

本文所要介绍的截断梯度法 (Truncated Gradient) 是采用的第二种策略。流式的在线学习算法的流程大致为：

对于一个样本 $x_i$ 到达后；
我们利用计算好的权重向量 $w_i=\left [ w_i^1,\cdots ,w_i^d \right ]\in R^d$ 计算出样本 $x_i$ 对应的输出 $\hat{y}_i$ ；
对于样本 $x_i$ 的实际标签 $y_i$ ，令 $z_i=\left ( x_i,y_i \right )$ ，计算出权重 $w_i$ 下的损失 $L\left ( w_i,z_i \right )$ ；
根据某种策略更新现在的权重： $w_{i+1}\leftarrow f\left ( w_i \right )$ 。

2、随机梯度下降法

随机梯度下降 (Stochastic Gradient Descent) 是最简单的在线学习算法，其基本的更新策略为：

$w_{i+1}=w_i-\eta \frac{\partial L\left ( w_i,z_i \right )}{\partial w_i}$

其中， $\eta$ 表示学习率，通常可以取为某个常数：

$\eta =\alpha$

也可以取为迭代代数的函数：

$\eta =\frac{\alpha }{\sqrt{t}}$

其中， $t$ 表示当前的迭代代数。

三、截断梯度法(Truncated Gradient)

正如上面所讲，L1正则可以使得某些特征的系数为0，具有特征选择的能力，这便称为稀疏性(Sparsity)。L1正则能够产生稀疏的解。为了能够在利用在线学习的同时产生稀疏解，最直接的想法是采用截断的方法，截断，即通过某个阈值来控制系数的大小，若系数小于某个阈值便将该系数设置为0，这便是简单截断的含义。

1、简单截断(Simple coefficient Rounding)

简单截断的含义是给定某个阈值 $\theta >0$ ，在在线学习的过程中，没隔 $K$ 步进行一次截断，截断是指将小于阈值 $\theta$ 的系数直接赋值为0，具体的形式如下：

$\large w_{i+1}=\begin{cases} w_i-\eta \frac{\partial L\left ( w_i,z_i \right )}{\partial w_i} & \text{ if } i/K is\: not\: an\: integer \\ T_0\left ( w_i-\eta \frac{\partial L\left ( w_i,z_i \right )}{\partial w_i} ,\; \theta \right ) & \text{ if } i/K is\: an\: integer \end{cases}$

其中， $\theta > 0$ 表示的是阈值，函数 $T_0$ 的具体形式如下所示：

$T_0\left ( v_j,\; \theta \right )=v_jI\left ( \left | v_j \right |<\theta \right )$

其中， $I$ 是指示性函数，其具体形式如下：

$I\left ( \left | v_j \right |<\theta \right )=\begin{cases} 0 & \text{ if } \left | v_j \right |\geqslant \theta \\ 1 & \text{ if } \left | v_j \right |<\theta \end{cases}$

该方法的主要缺点是对于 $K$ 值得选择是很难解决的问题，其次是通过简单截断，有点太暴力。

2、L1-Regularized Subgradient(次梯度)

有关次梯度的概念将会在另一篇文章中涉及，L1-Regularized Subgradient形式也比较直观，具体的形式如下：

$w_{i+1}=w_i-\eta \frac{\partial L\left ( w_i,\; z_i \right )}{\partial w_i}-\eta g\cdot sgn\left ( w_i \right )$

其中，函数 $sgn\left ( x \right )$ 是一个符号函数，其具体形式如下：

$sgn\left ( x \right )=\begin{cases} 1 & \text{ if } x>0 \\ 0 & \text{ if } x=0 \\ -1 & \text{ if } x<0 \end{cases}$

这样的次梯度的方法的主要缺点是在很少的情况下能够产生稀疏的解，主要的原因是前后两部分做加减法能够等于0的概率很小。

3、截断梯度法(Truncated Gradient)

在简单截断方法中，直接的截断太过于暴力，在截断梯度法中，将截断的步骤适当放缓，其具体的更新公式如下：

$w_{i+1}=T_1\left ( w_i-\eta \frac{\partial L\left ( w_i,\; z_i \right )}{\partial w_i},\; \eta g_i\theta \right )$

其中， $g_{i}$ 称为重力参数(gravity parameter)，截断函数 $T_1$ 的具体形式如下：

$T_1\left ( v_j,\alpha ,\theta \right )=\begin{cases} max\left ( 0,\; v_j-\alpha \right ) & \text{ if } v_j\in \left [ 0,\; \theta \right ] \\ min\left ( 0,\; v_j+\alpha \right ) & \text{ if } v_j\in \left [ \theta,\; 0 \right ] \\ v_j & otherwise \end{cases}$

与简单截断类似，每隔 $K$ 次对参数 $g_{i}$ 进行更新，其更新公式如下：