逻辑回归算法梳理

1、逻辑回归与线性回归的联系与区别

 

最大。然后用所得的拟合函数进行二分类。 

                                          

 

                 

 

2、 逻辑回归的原理

分类的本质：在空间中找到一个决策边界来完成分类的决策

逻辑回归：线性回归可以预测连续值，但是不能解决分类问题，我们需要根据预测的结果判定其属于正类还是负类。所以逻辑回归就是将线性回归的(−∞,+∞) 的结果通过sigmiod 函数映射到0与1之间从而实现分类。

 

3、逻辑回归损失函数推导及优化

     

优化方法：

• 共轭梯度法
• BFGS (变尺度法)
• L-BFGS (限制变尺 度法)

4、 正则化与模型评估指标

（1） 过拟合问题 

过拟合即是过分拟合了训练数据，使得模型的复杂度提高，繁华能力较差（对未知数据的预测能力）