逻辑回归实验

目录

1.逻辑回归介绍

2.逻辑回归原理

1.选定阈值

2.似然函数

3.梯度下降

 3.为什么逻辑回归用于分类问题

4.代码实现

1.获取数据集

2.梯度下降法

3.主函数

5.运行结果分析·

1. 数据集生成效果

2. 模型参数收敛情况

3. 分类边界效果

6.总结

后续改进与展望

---

1.逻辑回归介绍

逻辑回归是监督学习，主要解决二分类问题。

        逻辑回归虽然有回归字样，但是它是一种被用来解决分类的模型，为什么叫逻辑回归是因为它是利用回归的思想去解决了分类的问题。

        逻辑回归和线性回归都是一种广义的线性模型，只不过逻辑回归的因变量(Y)服从伯努利分布(离散分布)，而线性回归的因变量(Y)满足的是高斯分布(正态分布)，因此他们两个是很相似的(PS：线性回归是拟合一条直线，而逻辑回归是根据sigmoid将线性变成非线性，所以去掉sigmoid，他们是一样的)。

        所以理论上线性回归也可以用于做分类预测，但是准确率很低，效果很差，所以我们引用sigmoid函数将线性变成非线性来解决该类问题。

2.逻辑回归原理

 常用的非线性激活函数有sigmoid、tanh、relu等等，前两者sigmoid/tanh比较常见于全连接层，后者relu常见于卷积层。这里先简要介绍下最基础的sigmoid函数。
    sigmoid函数公式如下：
                                                    

        其中z是一个线性组合。通过代入很大的正数或很小的负数到g(z)函数中可知，其结果趋近于0或1。因此，sigmoid函数g(z)的图形表示如下（横轴表示定义域z，纵轴表示值域g(z)）。

         压缩至0到1有何用处呢？用处是这样一来便可以把激活函数看作一种“分类的概率”，比如激活函数的输出为0.9的话便可以解释为90%的概率为正样本。

1.选定阈值

        其实使用逻辑回归来预测分类问题，最后结果不是0或者是1，而是0-1之间的数，sigmoid默认情况是将0.5以上的都归为正例，0.5以下都归为负例，但是这样是不准确的。因为0.49它还是有49%的概率为正例的。就算我们认为0.1是负类，0.1还是有10% 的可能是正类，所以无论怎么选择，都有误差的，我们要做的就是尽量的减少误差。

        因为我们不管使用什么方式 求解，最后的结果都是0-1之间数，而不是0或1。有的人认为只需要确定好阈值那么我们就能找到最优解，但是实际上不应该这么想，我们要做的在这个方程中

                                                                   

求出最优的W值，然后在根据最优W值的方法来确定确定阈值。