本文介绍了梯度下降（上升）算法的基本原理和应用，包括如何沿着梯度（反）方向寻找最值点。同时，讨论了改进的随机梯度下降算法，它在大规模数据集和特征中具有较低的计算复杂度，是一种在线学习算法。然而，随机梯度下降算法的不稳定性以及选择合适步长的重要性是需要解决的问题。合适的步长应该与梯度大小成正比，以确保快速且稳定的收敛。
最优化之梯度下降（上升）算法
1、梯度下降算法原理
梯度下降（上升）法基于的思想是：要找到某函数的 最小（大）值，最好的方法是沿着该函数的梯度（反）方向探寻。如果梯度记为
，则函数f(x,y)的梯度由 下式表示：
，这是机器学习中最易造成混淆的一个地方，但在数学上并不难，需要做的只是牢记这些符号的意义。这个梯度意味着要沿x的方向移动 
，沿y的方向移动
，其中，函数’f(x,y)必须要在待计算的点上有定义并且可微。
梯度下降（上升）算法每次沿梯度（反）方向移动一步。梯度算子总是指向函数值减少（增加）最快的方向。这里所说的是移动方向，而未提到移动量的大小。该量值称为步长，记作
。用向量来表示的话，梯度算法的迭代公式如下：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
