本文介绍了机器学习中的两种常见优化方法——牛顿法和梯度下降法。牛顿法通过迭代求解使目标函数逼近零点的过程，具有收敛速度快的优点；而梯度下降法则通过逐步减少目标函数值的方式进行优化，其特点是单次计算量较小但迭代次数较多。
机器学习中，很多时候是求最优化问题，优化问题的求解通常有两种求解方法：牛顿法、梯度下降法。
牛顿法：使用迭代的方法，寻找使ｆ(theta) = 0，找到 theta的具体取值。数学表达式如下：
简单理解：先随机选取一点，求出ｆ在该点的切线即导数；
切线等于０的位置，即下一次迭代的值；
知道ｆ逼近等于0的点。
具体过程见下图：
举个例子：求最大似然ｌ(theta)的最大值，可以先求l’(theta)；
然后f(theta) ＝ l’(theta)；
这样就可以转化为牛顿法来求参数theta的值。
牛顿法与梯度下降法的比较，见下图。
牛顿法优点：收敛速度快，迭代次数少；但计算量大。
梯度下降法：单次计算量小，但迭代次数多，收敛速度慢。
梯度下降法：
也是迭代算法
初始值也可以随机给
然后不断取提取下降的方向求一下迭代值。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
