本文探讨了梯度下降和梯度上升两种优化方法的区别及其应用场景。解释了梯度下降用于寻找局部极小值，而梯度上升则用于寻找局部最大值。并通过logistic回归与线性回归两个具体例子来说明这两种方法的应用。
我们往往能看到在对模型进行优化时，有的说用梯度下降，有的说用梯度上升，这是为什么呢。最主要是因为目标不一样，梯度下降是求局部极小值，而梯度上升是求局部最大值。
如logistic的目标函数：
这里的优化目标是出现的概率值，我们要求概率的最大值，也就是MLE(极大似然估计），所以用梯度上升法。
而线性回归的代价函数为：
优化的目标值是误差，我们要求误差最小值，所以使用的是梯度下降算法。
参考地址:https://blog.youkuaiyun.com/u010310527/article/details/77150888
扫一扫
4384
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
