逻辑回归算法梳理

逻辑回归与线性回归的联系与区别

1. 线性回归是回归问题，预测连续型变量，其取值可以在在，0， 1之外。
2. 逻辑回归是分类问题，属于某类的概率，也可看做是回归的分类问题。

参数估计：
线性回归中使用的是最小化平方误差损失函数，对偏离真实值越远的数据惩罚越严重。假如使用线性回归对{0,1}二分类问题做预测，则一个真值为1的样本，其预测值为50，那么将会对其产生很大的惩罚，这也和实际情况不符合，更大的预测值说明为1的可能性越大，而不应该惩罚的越严重
逻辑回归使用对数似然函数进行参数估计，使用交叉熵作为损失函数，对预测错误的惩罚是随着输出的增大，逐渐逼近一个常数，这就不存在上述问题了

逻辑回归的原理

逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。

逻辑回归损失函数推导及优化

逻辑回归选择 Sigmoid 函数作为预测函数， 图像如下， g (x) = $\frac{}{1+e^{-}x}$