机器学习-逻辑回归

逻辑回归也称为logistic回归分析，其主要解决的是分类问题，属于监督学习，其推导过程与梯度下降和线性回归类似，损失函数与线性回归不同，用到了log（对数）函数。下图中g（z）称为sigmoid函数，z就是我们上一个所说的线性回归模型。

1.逻辑回归模型

2.决策边界

线性回归模型z=0就是逻辑回归模型的决策边界，对于多元线性回归同样可以转化为向量的形式，但是我们无法可视化展示。

3.逻辑回归中的代价（损失）函数

均方误差虽然适合作为线性回归的损失函数，但其不适合作为逻辑回归的损失函数，因为在逻辑回归中由于sigmoid函数存在，均方误差会出现较多的局部最小值，梯度下降法无法找到全局最小值，这将非常影响我们训练模型，出现欠拟合的情况。

所以我们选用对数函数作为逻辑回归的损失函数，由于逻辑回归输出的结果在0~1之间，预测值越接近真实值，其损失就越小，反之，损失就越大，下图就很清楚的解释了这一点，我们还可以对其简化。

简化后的损失函数

4.梯度下降

逻辑回归损失函数梯度下降法与线性回归类似，通过迭代不断更新w，b的值。
 

5.过拟合问题

过拟合就是我们训练的模型在训练集上表现的非常好，但是在测试集上表现的就很差，具有高方差，我们也把这种叫做泛化能力弱的模型。欠拟合就是在训练集和测试集上表现的都不好，具有高偏差。我们需要的是一个泛化能力强的模型，对于一些没见的数据也能预测的非常好。