DataWhale基础算法第二次作业---logistic回归

目录

 

1、西瓜书公式3.7的推导

 2、损失函数的最优化算法

（1）牛顿法

（2）拟牛顿法

3、为什么不用线性回归做分类

4、Logistic为啥不用平方差作为损失函数

5、Logistic为啥不直接公式求解

6、Logistic回归与线性回归有哪些联系

---

1、西瓜书公式3.7的推导

 2、损失函数的最优化算法

（1）牛顿法

牛顿法的优缺点总结：

　　优点：二阶收敛，收敛速度快；

　　缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。

（2）拟牛顿法

拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。
 

3、为什么不用线性回归做分类

4、Logistic为啥不用平方差作为损失函数

逻辑回归函数一般用在分类问题上。实际上也可以用最小二乘，但是最小二乘得到的权重效果比较差。如果用最小二乘法，目标函数就是差值的平方和,是非凸的，不容易求解，很容易陷入到局部最优。如果用最大似然估计，目标函数就是关于（w，b）的高阶连续可导凸函数，可以方便通过一些凸优化算法求解，比如梯度下降法、牛顿法等。

 

5、Logistic为啥不直接公式求解

logistic回归似然函数的偏导数为非线性函数，参数估计需用非线性方程组的数值法求解。

 

6、Logistic回归与线性回归有哪些联系

逻辑回归与线性回归都属于广义线性回归模型,其区别与联系从以下几个方面比较：

分类与回归:回归模型就是预测一个连续变量(如降水量，价格等)。在分类问题中，预测属于某类的概率，可以看成回归问题。这可以说是使用回归算法的分类方法。

输出:直接使用线性回归的输出作为概率是有问题的，因为其值有可能小于0或者大于1,这是不符合实际情况的，逻辑回归的输出正是[0,1]区间。见下图，

线性回归中使用的是最小化平方误差损失函数，对偏离真实值越远的数据惩罚越严重。这样做会有什么问题呢？假如使用线性回归对{0,1}二分类问题做预测，则一个真值为1的样本，其预测值为50，那么将会对其产生很大的惩罚，这也和实际情况不符合，更大的预测值说明为1的可能性越大，而不应该惩罚的越严重；

逻辑回归使用对数似然函数进行参数估计，使用交叉熵作为损失函数，对预测错误的惩罚是随着输出的增大，逐渐逼近一个常数，这就不存在上述问题。