逻辑回归算法梳理

目录

1、逻辑回归与线性回归的联系与区别

2、 逻辑回归的原理

3、逻辑回归损失函数推导及优化

4、 正则化与模型评估指标

5、逻辑回归的优缺点

6、样本不均衡问题解决办法

7、 sklearn参数

---

1、逻辑回归与线性回归的联系与区别

两者都是广义的线性回归，线性回归优化的目标函数是OLS，逻辑回归则是似然函数。

逻辑回归主要思想: 根据现有数据对分类边界线(Decision Boundary)建立回归公式，以此进行分类。

逻辑回归通过一组预测器变量，可以很有效的预测特征与输出结果。这与线性回归很相似，但更适用于二分类问题。方程系数可以用来估计模型中的自变量的比率，这适用于更广泛的问题模型，另一方面，可以将逻辑回归用于确定某个事件的可能性，输出值为0或1。

在逻辑回归中不仅可以解决二分类问题，也可以求解多分类问题，只不过它常被用来做二分类。

线性回归：通过估计线性方程中的系数，包括一个或多个独立变量，进而给出最佳的预测结果。例如，可以通过年龄、教育背景、工作年份等特征预测销售员全年的销售情况。

线性回归求解的是连续问题，而逻辑回归求解的是离散问题。

1）线性回归要求变量服从正态分布，logistic回归对变量分布没有要求

2）线性回归要求因变量是连续性数值变量，而logistic回归要求因变量是分类型变量

3）线性回归要求自变量和因变量呈线性关系，而logistic回归不要求自变量和因变量呈线性关系

4）线性回归是直接分析因变量与自变量的关系，而logistic回归是分析因变量取某个值的概率与自变量的关系

 

2、 逻辑回归的原理

逻辑回归首先把样本映射到[0,1]之间的数值，这就归功于sigmoid函数，可以把任何连续的值映射到[0,1]之间，数越大越趋向于0，越小越趋近于1。Sigmoid函数公式如下： 

其中，sigmoid函数的输入为z=w.T*x，向量w是我们要找的最佳参数，从而使分类器更加准确。为了寻找最优w，会用到一系列方法，如梯度下降法等。

3、逻辑回归损失函数推导及优化

4、 正则化与模型评估指标

惩罚高阶参数，使它们趋近于0，这样就会得到较为简单的假设，也就是得到简单的函数，这样就不易发生过拟合。但是在实际问题中，并不知道哪些是高阶多项式的项，所以在代价函数中增加一个惩罚项/正则化项，将代价函数中所有参数值都最小化，收缩每一个参数。

正则化：L0、L1、L2