Logistic regression 梯度下降|牛顿法 python实现

写在开头：

这篇文章主要是为了整合我在学习并用python实现logistic regression回归模型的参数估计时的一系列知识点。文章内干货较多，然而对原理方面的介绍较少，希望理解原理的话请移步wiki。

batch gradient descent:  https://en.wikipedia.org/wiki/Gradient_descent

logistic regression:  https://en.wikipedia.org/wiki/Logistic_regression

Newton's method:  https://en.wikipedia.org/wiki/Newton%27s_method_in_optimization

 

1. Logistic regression 介绍

Logistic regression用来预测输入数据的判断结果，其分类函数为sigmoid函数：

模型输出为：

 

求最优参数的最大似然函数可以表示为：

损失函数为：

其中第二项是正则项，对过大的参数施加惩罚

 

也可以用向量表示为：