逻辑回归的原理及推导

目录

逻辑回归的概念

具体过程

sigmoid函数

逻辑回归的推导

---

逻辑回归的概念

是用于处理因变量为分类变量的回归问题，常见的是二分类问题，也可以处理多分类问题，它实际上是属于一种分类方法

具体过程

    1.我们将数据集利用逻辑回归进行分类（红色代表y标签为1的数据集，绿色代表y标签为0的数据集）注意：红色是在y值为1的平面，绿色是在y值为0的平面 

 但是，不难发现当我们将数据集的x1，x2代入分类函数后，有很多的红色和绿色得到的y值   极为   接近，这样我们就不好对数据进行分类

    2.为了更好的将数据进行分类，我们引用sigmoid函数

           

这样红色数据集更集中在y值为1的部分，绿色数据集更集中在y值为0的部分

sigmoid函数

    sigmoid函数：

特点：
1自变量为负无穷到正无穷。

2.值域为[0,1]。

本质：
将线性回归的结果映射到[0,1]的区间上，这样就完成了连续变量到概率的转换，大于阈值(0.5)的类别是1，小于阈值的类别是0。【实质上就是完成了二分类任务】

逻辑回归的推导

     1.线性回归结果：

     2.我们将线性回归结果带入到sigmoid函数中：

     3.(x)函数的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：