【机器学习】随机梯度下降算法以及优化

一、概述：

什么是梯度下降？

梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个场景:一个人被困在山上，需要从山上下来(i.e.找到山的最低点，也就是山谷)。但此时山上 的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的 路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为 基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，(同理，如果我们的目标是上山， 也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走)。然后每走一段距离，都反复采用同一个方 法，最后就能成功的抵达山谷。

梯度的概念：

梯度是微积分中一个很重要的概念 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向 这也就说明了为什么我们需要千方百计的求取梯度!我们需要到达山底，就需要在每一步观测到此时最陡 峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反 方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的反方向一直走， 就能走到局部的最低点。

梯度下降法中注意的点：

α-也就是步长

步长太小，下降太慢

步长太大，容易跳过极小值点

为什么梯度要加负号？

梯度方向是上升最快的方向，负号是下降最快的方向。

迭代次数和停止条件：

• 需要设置合适的迭代次数和停止条件，避免过度拟合或欠拟合。

• 停止条件可以设置为达到预设的迭代次数，或者当两次迭代之间的差值小于某个预设的阈值时停止。

初值的选择： 梯度下降法的初值选择会影响最终的结果。 在实际应用中，可以尝试不同的初值来观察结果的差异。

二、常见的梯度下降算法：

1. 全梯度下降算法（FG）

计算训练集所有样本的误差，并对其求和取平均值作为目标函数，然后沿着目标函数的负梯度方向更新参数

通过迭代的方式，不断调整模型参数，使得损失函数的值逐渐减小，从而得到最优解。