本章节探讨了如何运用牛顿法求解逻辑回归的参数。在逻辑回归问题中，最大似然的参数θ使得似然函数值最大，这等价于找到使似然函数导数为0的θ。牛顿法通过泰勒展开迭代求解方程根，迭代公式涉及似然函数的一阶导数和二阶导数（海森矩阵）。实例展示了在40名学生录取信息的数据集上，牛顿法在6次迭代后即能有效分类，其收敛速度优于梯度下降法。
在上一章节中，我们介绍了什么是逻辑回归，以及如何基于最大似然的思想使用梯度下降法求解逻辑回归参数 θ 。在本章节中，将介绍使用另一种方法，牛顿法求解逻辑回归参数，并给出代码演示。
1.1牛顿法求解方程根
考虑牛顿法在求解方程 f(θ)=0 时的用法。牛顿法在求解方程根时，主要是根据泰勒展示式进行迭代求解的。
假设 f(x)=0 有近似根 xk ，那么 f(x) 在点 xk 处的泰勒展开式表示为，
f(x)≈f(xk)+f′(xk)(x−xk)
令 f(x)=0 有， f(xk)+f′(xk)(x−xk)=0 ，求解得到 xk+1
xk+1=xk−f(xk)f′(xk)
利用该公式可以迭代求解
最低0.47元/天 解锁文章
扫一扫
1345
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
