机器学习（2）：逻辑回归 Logistic regression

目录

一、从线性回归到逻辑回归

二、Sigmoid 函数

三、二分类逻辑回归的模型

四、小结

五、scikit-learn中的逻辑回归

逻辑回归参数详细说明

5.1 概述

5.2 LogisticRegression 参数说明

---

---

 

目的：分类，经典的二分类算法！

机器学习算法选择：先逻辑回归再用复杂的，能简单还是用简单的

逻辑回归的决策边界：可以是非线性的

 

一、从线性回归到逻辑回归

线性回归的模型是求出输出特征向量Y和输入样本矩阵X之间的线性关系系数θ，满足Y=Xθ。

此时我们的Y是连续的，所以是回归模型。如果我们想要Y是离散的话，怎么办呢？

一个可以想到的办法是，我们对于这个 Y 再做一次函数转换，变为g(Y)。如果我们令g(Y)的值在某个实数区间的时候是类别A，在另一个实数区间的时候是类别B，以此类推，就得到了一个分类模型。如果结果的类别只有两种，那么就是一个二元分类模型了。逻辑回归的出发点就是从这来的。下面我们开始引入二元逻辑回归。

 

二、Sigmoid 函数

公式：

自变量取值为任意实数，值域[0,1]

解释：将任意的输入映射到了[0,1]区间
我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数
中这样就完成了由值到概率的转换，也就是分类任务

 

三、二分类逻辑回归的模型

θX是和线性回归一样的输入

预测函数：

其中，和特征相关

分类任务：，整合：

求解：

似然函数：

对数似然：

因为要求最大似然，此时应用梯度上升求最大值。引入转换为梯度下降任务。M是为了考虑到所有样本

求导过程：

是对于θj求导，就是要对所有特征的