【机器学习】回归分析

什么是回归分析？

回归分析（Regression Analysis）是一种统计学上对数据进行分析的方法，主要是希望探讨数据之间是否有一种特定关系。回归分析是建立因变量Y（或称依变量、原文为：response variables, dependent variables）与自变量X（或称独变量，原文为predictors, independent variables）之间关系的模型。

回归分析法，是在掌握大量观察数据的基础上，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式（称回归方程式）。回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以借助数学手段化为线性回归问题处理。

回归类型

有许多回归技术可以用来做预测。这些回归技术主要由三个度量（独立变量的数量、度量变量的类型和回归线的形状）驱动。

• 线性回归
• 逻辑回归：只有两种结果
• 多项式回归：对应一个回归方程，如果自变量的指数大于 1，则它就是多项式回归方程。容易发生过拟合。
• 逐步回归
• 岭回归
• 套索回归
• 弹性回归

先挂着。。