预测型数据分析：Python中进行线性回归（scikit-learn实现）

数据分析师（入门）     DC学院

python实现线性回归

Python中实现线性回归的主流包是scikit-learn

import sklearn

from sklearn import linear_model

#训练模型

lm=linear_model.LinearRegression()

#用fit进行回归

model=lm.fit(X,y)

在进行本节操作前请先确保已经安装了scikit-learn 的Python包 
conda install scikit-learn 
或 
pip install sklearn

1、这节视频依旧使用到iris的数据集

import pandas

iris = pandas.read_csv( 'http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header= None)

iris.columns=[ 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm', 'PetalWidthCm', 'Species']

iris.sample( 10)

2、绘图

import seaborn

%matplotlib inline

#通过画图可以直观地对数据的线性关系做一个观察

seaborn.regplot(x= 'PetalLengthCm',y= 'PetalWidthCm',data=iris)

3、训练模型

from sklearn import linear_model

lm=linear_model.LinearRegression()

features=[ 'PetalLengthCm']

X=iris[features]

y=iris[ 'PetalWidthCm']

print(X.shape,y.shape)

#放入两个特征,X就会多一个维度

features=[ 'PetalLengthCm', 'SepalLengthCm']

#使用X，y来训练model

model=lm.fit(X,y)

print(model.intercept_,model.coef_)

#从print的结果可以得到回归模型的截距和系数

4、预测数据

#使用model来对数据进行预测，输入X自变量的值，输出y的预测值

#注意多个自变量时的情况

model.predict( 4)

model.predict([ 1, 2])

预测性能的评估

为了评估获得模型的性能，需要对数据集进行划分，划分为训练集和测试集，在训练集上学习获得模型，在测试集上评估误差

交叉检验 
将数据集中的样本等分成多份，每次取其中的一份作为测试集，剩余的数据作为训练集，使用测试集数据评估和检验从训练集学习得到的模型，即进行交叉检验。相对于随机划分，一部分的训练集永远划分在测试集中，交叉检验是将数据划分成若干份，每次用不同的部分作为测试集，则每份都被当做测试集和训练集使用过。

如下图是将数据集划分为五份的交叉检验

将数据集分为5份，分别进行5次回归

回归常用的打分函数

• MAE=，对应的scoring参数为’neg_mean_absolute_error’
• MSE=对应的scoring参数为’neg_mean_squared_error’ 
  得分越高，则代表模型的性能越好

scikit learn中进行交叉检验

from sklearn.model_selection import cross_val_score

#得到5次交叉检验的误差,注意这里cross_val_score()前面用了负号，得到的是每个回归模型的平均绝对值误差

scores=-cross_val_score(lm,X,y,cv= 5,scoring= 'neg_mean_absolute_error')

print(scores)

#求平均值，作为误差结果

import numpy as np

print(np.mean(scores))

#请尝试修改scoring参数，得到MSE

#请尝试添加、删除变量，对于PetalWidthCm的预测而言哪个模型会更好一些呢？哪些变量对于预测PetalWidthCm是有帮助的呢？

补充知识

线性回归参数确定

求线性回归的参数，Python中只需要一行代码，但背后则涉及到了最小二乘法。最小二乘法是一种优化方法，用于求得目标函数的最优值。简单的说就是：让我们的预测值与真实值总的拟合误差（即总残差）达到最小。预测值与真实值总的拟合误差（即总残差）也就是线性回归的损失函数。 
线性回归使用最小二乘法构建损失函数，通过求损失函数最小化的解得到最优的参数。

• 请阅读最小二乘法小结，了解最小二乘法的原理、解法、适应场景和局限性。

还可以通过梯度下降的方法求损失函数最小化的解。 
梯度下降是最经典的优化算法之一，其原理是：通过一阶导数，寻求使得损失函数能够下降的最快的参数；

• 请阅读机器学习入门：线性回归及梯度下降，了解这里的cost function和MAE、MSE的关系
• 线性回归的关键就是寻找回归方程的参数，当自变量（特征）较多时，使用梯度下降算法是较为合适的，请阅读线性回归与梯度下降算法中“1.2梯度下降算法”的部分

linear_model.LinearRegression

sklearn是实现数据分析的一大利器，阅读以下材料了解更多关于LinearRegression函数的参数和示例

• 简单线性回归
• sklearn.linear_model.LinearRegression

扩展阅读

交叉检验

交叉检验简单来讲，为将数据样本切割成较小的子集，一部分用于训练模型，一部分用于验证模型（训练集的规模比验证集的规模大得多），利用验证集来测试训练得到的模型，主要用于评估模型的性能。通过模型在训练集上的表现和在验证集上的表现差异，来评估模型的泛化能力，和最终确定模型
常见的有：k-folds 交叉验证法，leave-one-out 法

• k-folds交叉验证法: 也叫k折交叉验证法，将初始数据集分割成 k 份，其中1份被保留作为验证模型的数据，其他 k-1 份用来训练。交叉验证重复 k 次，每份数据作为验证集验证一次，平均 k 次的结果或者使用其它结合方式，最终得到一个单一估测
• leave-one-out 法：也叫留一交叉验证法，只使用原本样本中的一项来当做验证集， 而剩余的则留下来当做训练集。 这个步骤一直持续到每个样本都被当做一次验证数据

数据分析师（入门）    港科大博后 王乐业   主讲

更多数据科学课程，上DC学院



关注DC，获取更多学习资源