【python+机器学习（2）】python实现Linear Regression

欢迎关注哈希大数据微信公众号《哈希大数据》

想必大家在很早之前就接触过函数的概念，即寻找自变量和因变量之间的对应关系，一元一次、多元一次、一元二次等等，表示的就是变量间具有线性、非线性，相关关系或无关关系等。同样的在机器学习中，一个重要而且很常见的问题就是学习特征变量（自变量）与响应变量（因变量）之间的函数关系，进而对新出现的变量进行结果预测。这种寻找连续变量与目标结果间关系的方式称之为回归，与上节分享的KNN实现的离散变量的分类，均属于机器学习有监督算法的核心功能，是实现预测的重要方式。因此本节我们将重点介绍线性回归（Linear Regression）

01

线性回归和最小二乘法介绍

一

线性回归理论：

1.假设自变量X和因变量Y具有线性关系，要想预测新的y值，需要使用历史的Y与X训练数据，通过线性方程建立机器学习模型。

2.如果变量X只有一个为简单线性回归，有多个为多元线性回归。

3.机器学习模型假设为：Y=aX+b，b是噪音项，且服从独立同分布（IID）（概率统计基本理论，表明e在任何时刻的取值都为随机变量，不会影响y的预测结果）。

最小二乘法理论：

1.为了使预测更加准确，即机器学习得出的预测参数a和b要与实际情况尽可能相一致，因此在训练模型时要计算预测结果与实际结果的误差值大小：