50行代码，带你理解梯度下降法（Gradient Descent Method）

梯度下降法是一种常见的优化算法，在机器学习中应用很广泛。本文从代码的角度，带你理解梯度下降法。

优化算法

优化指的是改变x以最小化或最大化某个函数 f(x) 的任务。通常以最小化 f(x) 指代大多数最优化问题。最大化可以通过最小化 -f(x) 来实现。

在机器学习领域，我们把要最小化或最大化的函数称为目标函数（objective function）或准则（criterion）。当我们对其进行最小化时，也把它称为代价函数（cost function）、损失函数（loss function）或误差函数（error function）。¹

优化算法中常用的迭代方法有线性搜索和置信域方法等。线性搜索的策略是寻找方向和步长，具体算法有：梯度下降法、牛顿法、共轭梯度法等。²

梯度下降法为一阶收敛算法，当靠近局部最小解时梯度变小，收敛速度会变慢，并且可能以“之字形”的方式下降。如果目标函数为二阶连续可微，可以采用牛顿法，牛顿法（Newton’smethod）为二阶收敛算法，收敛速度更快，但是每次迭代需要计算Hessian矩阵的逆矩阵，复杂度较高。²下一章解析牛顿法。

梯度下降法

梯度（gradient）是相对一个向量求导的导数：$f$的导数是包含所有偏导数的向量，记为${\nabla }_{\mathbf{x}}f(\mathbf{x})$。梯度的第$i$个元素是$f$关于${\mathbf{x}}_i$的偏导数。在多维情况下，临界点是梯度中所有元素都为零的点。

梯度下降（