机器学习之逻辑斯蒂回归

目录

一、分类与回归

二、逻辑回归不是回归 

 三、生成式逻辑回归

四、判别式逻辑回归 

五、逻辑回归为什么不用均方误差做损失函数

六、判别模型与生成模型的比较

七、写在最后

---

一、分类与回归

回归与分类是机器学习的基本问题。回归是预测连续值，分类是预测离散值；回归的输出可以是任意值，而分类的输出只能是预设的分类输出的一个，比如（0，1）中的0或1.；理论上讲，如果回归的输入值相近，那么它的预测值也是相近的，而分类的输入相近（在同一个分类决策边界内），那么它们的预测值是一样的，代表属于同一类别。

举个例子：

预测明天的气温是回归问题，因为预测值可以是正常温度中的任意一个值，是连续的。

预测明天的天气是分类问题，它的预测值是阴、晴、雨等等，是离散的。

二、逻辑回归不是回归 

逻辑回归，Logistic Regression，名为回归，实为分类算法。

逻辑回归的激活函数为：

                                                                             

通过计算，它的输出为(0,1)之间的某个数值，代表概率，输出值越接近1，表示判断为正的概率越大。和回归的区别在于，输出不能为连续的任意值，只能介于零一之间，而通过设置阈值θ,如果f(x)>θ,则最终输出为1，代表分类为正样本。如果输出f(x)<θ,输出为0，代表分类为负样本。所以逻辑回归不是回归而是分类。

 三、生成式逻辑回归

假设我们有一个数据集，共有1000个样本，其中C1类有350个，C2类有650个。那么我们就已知了P(C1)和P(C2)。 

贝叶斯公式为：

由贝叶斯公式上下同时除以分子可得：

令         则  （sigmoid函数）

si