机器学习之逻辑回归

1.逻辑回归的原理
逻辑回归常用于分类问题，例如判断是良性肿瘤还是恶性肿瘤，判断是垃圾邮件还是正常邮件，等等。理想的替代函数应当预测分类为0或1的概率，当为1的概率大于0.5时，判断为1，当为1的概率小于0.5时，判断为0。因概率的值域为[0,1]。常用的替代函数为Sigmoid函数，即：其中
2.逻辑回归损失函数推导及优化
P(y|x;θ)=h(x)y(1−h(x))(1−y)P(y|x;θ)=h(x)y(1−h(x))(1−y)。极大似然函数为，，对数极大似然函数为，，损失函数为。损失函数表示了预测值和真实值之间的差异程度，预测值和真实值越接近，则损失函数越小。
3.正则化与模型评估指标
正则化：我们可以在损失函数后面，加上正则化函数，即θθ的惩罚项，来抑制过拟合问题。
L1正则:，梯度下降迭代函数变为θ:=θ−K′(θ)−λ/msgn(θ)
L2正则
梯度下降法迭代函数变为θ:=θ−K′(θ)−2λ/mθ
逻辑回归的评价指标
由于逻辑回归模型属于分类模型，不能用线性回归的评价指标。
二元分类的评价指标基本都适用于逻辑回归。
观察以下混淆矩阵，

我们可以用查准率和查全率来评价预测结果：
查准率 P=TP/（TP+FP）
查全率 R=TP/（TP+FN）
3.代码实现
调用sklearn的线性回归模型训练数据，尝试以下代码

用梯度下降法将相同的数据分类

用牛顿法实现结果