线性回归基础

参考
线性回归python实现详解（附公式推导）
回归评价指标MSE、RMSE、MAE、R-Squared
【skLearn 回归模型】线性回归 ---- Linear Regression

一、线性回归简介

• 回归是一种应用广泛的预测建模技术,这种技术的核心在于预测的结果是连续型变量。回归（Regression)是监督学习的另一个重要问题，用于预测输入变量（自变量）和输出变量（因变量）之间的关系，特别是当输入变量的值发生变化时，输出变量的值随之发生的变化，回归模型正是表示从输入变量到输出变量之间映射的函数。回归问题的学习等价于函数拟合：选择一条函数曲线，使其很好地拟合已知数据且很好地预测未知数据。在统计学中，线性回归（Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析，这种函数是一个或多个被称为回归系数的模型参数的线性组合 。只有一个自变量的情况称为简单回归，大于一个自变量情况的称为多元回归。

• 回归算法源于统计学理论,它可能是机器学习算法中产生最早的算法之一,其在现实的应用非常广泛,包括使用其他经济指标预测股票市场指数,根据喷射流的特征预测区域内的降水量,根据公司的广告花费预测总销售额,或者根据有机物质中残留的碳-14的量来估计化石的年龄等等,只要一切基于特征预测连续型变量的需求,我们都使用回归技术。

• 既然线性回归是源于统计分析,是结合机器学习与统计学的重要算法。通常来说,我们认为统计学注重先验,要将一切准备工作就绪后才可以开始建模等后续步骤；而机器学习看重结果,因此机器学习中不会提前为线性回归排除共线性等可能会影响模型的因素,反而会先建立模型以查看效果。模型确立之后,如果效果不好,我们就根据统计学的指导来排除可能影响模型的因素。