梯度下降法学习笔记

我们都知道梯度下降法是求解无约束最优化问题的最常用方法，可是为什么梯度下降可以用来求解最优化问题呢？梯度到底是什么？这里假设我们要解决一个最小值问题$minf(x)$，当我们所研究的对象并不是一个凸函数或者即使是一个凸函数，但是计算量会非常的大，此时我们就会想能否有一种迭代的方法，当我们随机的选取一个点，我们以该点位为起点，然后沿着某个方向能够以最快的速度走到最小值点呢？基于这样的思路，我们首先来介绍到底什么是梯度。

梯度

在百度百科上给出的梯度公式为：

$$grad(t) = \nabla t = \frac{\delta t}{\delta x}i + \frac{\delta t}{\delta y}j + \frac{\delta t}{\delta z}k$$ 其中 $i, j, k$为基向量，其也可以表示为 $(\frac{\delta t}{\delta x}, \frac{\delta t}{\delta y}, \frac{\delta t}{\delta z})$。通过上面的定义我们可以看到梯度是一个向量，是 $t$在$(x,y,z)$点的一个方向，且沿着该方向是t值变化最大的方向。下面是对梯度为函数值变化最大的方向的证明：

假设$v$表示任意的一个单位向量，那么方向导数（表示函数$t$在方向$v$上的变化率）即为$grad(t) \cdot v$，根据点乘的定义我们知道$grad(t) \cdot v = |grad(t)|\cdot |v|\cdot \cos\theta$，因为$v$为一个单位向量，因此其又等于$|grad(t)|\cdot \cos\theta$，故对于方向导数，其值最大的时候是$\theta = 0$，即向量$v$与梯度$grad(t)$平行的时候。因此$t$的函数值变化率最大的方向就是梯度方向。

梯度下降法

根据对上面梯度的介绍，我们知道梯度方向是函数值变化最大的方向，因此对于问题$minf(X)$，我们只需要沿着负梯度方向不断对x进行修正即可以最快的速度下降到极小值点，这也是通常人们把梯度下降法等同于最速下降法的原因。下面给出梯度下降法的基本步骤：

1. 随机选取初始节点$X_0 = (x_0^1, x_0^2, ..., x_0^k)$；
2. 求出函数$f(X)$在$X_i$点的梯度$\nabla f = \frac{\delta f}{\delta X_i}$；
3. 如果函数误差$E(f(X_i), f(X_{i-1})) > \epsilon$，则依据梯度更新 $$x_i = x_i - \alpha\nabla f(x_i)$$ 重复2,3步直到函数误差小于阈值$\epsilon$。其中$\alpha$为步长，用于控制每次下降的幅度，通常其值是逐渐递减的。

批量梯度下降与随机梯度下降

对于线性回归我们知道其模型为$f_\Theta(X) = X^T\Theta$，那么其损失函数$J(\Theta) = \frac{1}{2m}\sum_{i=1}^{m}(f_\Theta(x^i) - y^i)^2$，故$\frac{\delta f}{\delta \Theta} = \frac{1}{m}\sum_{i=1}^{m}(f_\Theta(x^i)-y^i)x^i$

• 批量梯度下降
  对于批量梯度下降，其对$\Theta$的更新策略为 $$\theta_j^{t+1} = \theta_j^t - \frac{1}{m}\sum_{i=1}^{m}(f_{\theta_j} (x^i_j)-y^i)x^i_j$$ 我们可以看到对于批量梯度下降，其每一次更新都要考虑所有的样本，当样本量很大的时候，这种更新的速度是非常慢的，那么我们就想能否每来一个样本我们就更新一次而不是等所有样本都到来才更新？
• 随机梯度下降
  对于梯度下降，其更新策略不再是每次更新都考虑所有的样本，而是对每个样本，都对参数进行一次更新，其更新策略如下： $$\theta_j^{t+1} = \theta_j^t - f_{\theta_j} (x^i_j)-y^i)x^i_j$$ 在这种情况下，我们可能只需要其中的一部分样本就可以让算法收敛到极值点。