机器学习_12_梯度下降法、拉格朗日、KKT

1 梯度下降法

1.1 导数、梯度

• 导数：一个函数在某一点的导数描述了这个函数在这一点附近的变化率，也可以认为是函数在某一点的导数就是该函数所代表的曲线在这一点的切线斜率。导数值越大，表示函数在该点处的变化越大。
• 梯度：梯度是一个向量，表示某一函数在该点处的方向导数沿着该方向取的最大值，即函数在该点处沿着该方向变化最快，变化率最大(即该梯度向量的模)；当函数为一维函数的时候，梯度其实就是导数。

1.2 梯度下降法

• 梯度下降法(Gradient Descent， GD)常用于求解无约束情况下凸函数(ConvexFunction)的极小值，是一种迭代类型的算法，因为凸函数只有一个极值点，故求解出来的极小值点就是函数的最小值点。
  

1.3 梯度下降法的优化思想

• 梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以梯度下降法也被称为“最速下降法”。梯度下降法中越接近目标值，变量变化越小。计算公式如下：

• α被称为步长或者学习率(learning rate)，表示自变量x每次迭代变化的大小。

• 收敛条件：当目标函数的函数值变化非常小的时候或者达到最大迭代次数的时候，就结束循环。