逻辑回归算法梳理

**

逻辑回归算法梳理

**
逻辑回归和线性回归的联系和区别

逻辑回归和线性回归都属于广义线性回归模型。二者的区别如下：
1.线性回归要求变量服从正态分布，逻辑回归对变量分布没有要求。
2.线性回归要求因变量是连续性数值变量，而逻辑回归要求因变量是分类型变量。
3.线性回归要求自变量和因变量呈线性关系，而逻辑回归不要求。
4.线性回归直接分析自变量和因变量的关系，逻辑回归是分析因变量去某个值的概率和自变量的关系。

逻辑回归的原理
逻辑回归的原理的思想基于线性回归，逻辑回归算法是将线性函数的结果映射到了sigmoid函数中。
逻辑回归的过程大致如下：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后对这个模型进行测试验证它的好坏。

逻辑回归损失函数推导及优化
损失函数是基于最大似然估计推导的。

正则化与模型评估指标

上一篇文章中提到过欠拟合，过拟合的概念，并且说到正则化是解决过拟合的方法之一。通俗的说，正则化就是降低对数据的拟合能力。

模型评估指标有以下几种：
1.误差平方和
同样的数据集下，不同的模型求解实际值与理论值的差值的平方之后求和。平方和越小则证明这个模型越好。
2.R-square(决定系数）

分母理解为原始数据的离散程度，分子为预测数据和原始数据的误差，二者相除可以消除原始数据离散程度的影响。
决定系数