本文深入解析了逻辑回归与线性回归在梯度下降过程中的异同，指出两者虽然在偏导公式上相似，但因激活函数的不同（线性函数与sigmod函数），导致了其在实际应用中的差异。通过分析逻辑回归代价函数中的log(hθ(xi))与sigmod函数的e自然常数如何相互抵消，揭示了梯度下降求导一致性的内在原因。
逻辑回归代价函数进行梯度下降求偏导时与线性回归的区别
从偏导的公式上来看，两种方式的公式是一样的，两者的区别就是 hθ(xi)激活函数 的定义不同，
- hθ(xi) 线性回归是普通的线性函数
- hθ(xi) 逻辑回归是sigmod函数
逻辑回归梯度下降推到具体参考：http://blog.youkuaiyun.com/Jiaach/article/details/78736577
总结：导致两者求导出来的式子一样的原因是逻辑回归代价函数中的log(hθ(xi)) 外面的对数函数跟里面hθ(xi) 代表的sigmod函数的e自然常数进行了抵消。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
