线性回归(Linear Regression)、逻辑回归(Logistic Regression)的原理、联系与区别

一、线性回归(Linear Regression)、逻辑回归(Logistic Regression)推导

1、线性回归(Linear Regression)原理及手工实现_解析解法、梯度下降法求解最优解

2、逻辑回归(Logistic Regression)原理

二、联系

逻辑回归的本质其实就是线性回归，但在最终预测的时候加了一层sigmoid函数。
即：线性回归+sigmoid函数=逻辑回归

三、区别

ps:LR好像更多的时候是逻辑回归(Logistic Regression)的缩写。

1、功能不同

线性回归：做预测、拟合函数。用于回归任务，例如用来拟合一条直线。
逻辑回归：做分类、预测函数。用于分类任务，二分类/多分类，是给定自变量和超参数后，得到因变量的期望，基于这个期望来处理预测分类问题。

2、计算参数方式

线性回归：使用最小二乘法求得解析解、梯度下降法。“基于均方误差（mean-square error, MSE）最小化来进行模型求解的方法称为“最小二乘法””–《机器学习》周志华
逻辑回归：最大似然估计、梯度下降法。

3、异常值

线性回归：容易受到异常值的影响。
逻辑回归：对异常值有较好的稳定性。