机器学习—梯度下降算法

梯度下降算法

   一、梯度下降算法是一个最优化算法，它是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值的一种方法。

    二、众所周知，我们从山顶下山，想要求得到山脚路程最短的一条路径，那么我们每次都应该沿着最陡峭的方向下山。

下山问题即我们这里所说的梯度下降问题。最陡峭的方向即为函数斜率绝对值最大的方向。那么，为什么沿斜率方向函数值下降的最快呢？我们可以运用高等数学的知识来证明这个结论。

    若函数z=f(x,y)的增量与pp'两点切线距离之比在p'沿着方向趋于p时，趋于零极限存在，则称函数在p点沿着方向的方向导数，表示为：

    对函数z求偏导，对x有：