【机器学习】逻辑回归

目录

一、什么是逻辑回归

二、Sigmoid函数

三、更新参数

四、总结

---

一、什么是逻辑回归

        逻辑回归并不是解决回归任务的，而是常用于解决二分类任务的。

        逻辑回归是最简单的机器学习算法，但这并不意味着它是最没用的。因为像神经网络这种复杂的机器学习算法，一是会消耗时间计算机资源，二是过于强大而导致提高了过拟合风险（计算机容易学死），对于所有问题并不是用神经网络的效果一定比简单的算法效果好。所以选择机器学习算法时，是先选择简单的，效果不行的情况下，再选择复杂的。因此，逻辑回归通常是作为基准模型，是最常用到的机器学习算法。

        逻辑回归的决策边界可以是非线性的，形象地说，将两个类别分开的线可以是直线（线性），也可以是弯曲的线类似下图所示（非线性）。

二、Sigmoid函数

        将回归任务转换为分类任务，需要将预测值（预测的实际数值）转换为概率值（属于当前类别的概率），即0~1的数值，这个转换用Sigmoid函数实现。公式如下：

                                                  式（1）

        函数图像如下：

三、交叉熵损失

        交叉熵损失是一种损失函数，常与Softmax激活函数搭配，解决多分类问题。它等于m个样本的平均交叉熵误差，公式如下：

        如果第 i 个样本的标签为第 k 个类别，那么  ， 的值就是1，