mengdeer_Q的博客

牛顿法也是一类求解极值的方法，多用于有限元的求解，由于要求函数二阶可导（海森矩阵），且海森矩阵逆矩阵不一定存在，因此在机器学习领域应用较少。可以看见这个公式与梯度下降法比较接近，只是梯度下降法中海森矩阵的逆矩阵。牛顿法同样是得到自变量的更新方法，从而得到极值。为海森矩阵，g为梯度。-1被替换为了学习率。

此外，这里不光应当小于0，而且应该是一个最大的小于0的数，这样才能让。0)本质上是两个向量乘积，只有当两者反向时（-180°）才能最小。假设x为更新后的值，x0为当前点，那么应该有。为学习率，可见学习率为步长和梯度模分之一的乘积。梯度下降法是机器学习中一种常见的优化方法。0)最小，准确的讲是达到局部最小值。泰勒展开的意义是用一系列多项式去。为学习率，是一个小于1的数，需要注意的是，梯度下降法就是。)的值减小，即每次更新x则。是步长（每次走一小步），而。0)也是一个向量，所以(梯度下降法的目标是让。

一般的认知某点的梯度和某点的导数有很大的联系，但是认识这一概念起就知道导数是某条曲线的切线，切线是函数值变化最快的方向，而梯度也是表明沿着梯度变化方向很快，因此直观上讲，在某些情况应该可以认为导数和梯度是一回事。从降维后的曲线可知，现在梯度的方向确实是垂直方向，也可以说是切线（切平面）的法线方向，这还没完，这只是梯度在xoy平面的形态，而非在自变量即x轴和y轴上的体现。这里顺便提一下，如果我们认为xoy平面的切线是梯度，则此时的因变量不是z，而是y（x是因变量）或者x（y是自变量）。那么，问题到底出在哪？