机器学习精简教程之三——用scikit-learn求解多元线性回归问题

本文转自 http://www.shareditor.com/blogshow/?blogId=54

一般情况下，一个因变量是和多个自变量有关的，比如一个商品的价格和原料价格、加工方法、上市时间、品牌价值等有关，也就是多元线性，本节介绍如何用scikit-learn解决多元线性回归问题 

多元线性回归模型

方程：Y=Xβ 

求解多元线性回归问题就是求解β：

因为X不一定是方阵，所以不能直接β=X-1Y

两边同时乘以Xt，得到XtY=XtXβ

因为XtX是方阵，它的逆是(XtX)-1，所以两边同时乘(XtX)-1得到

(XtX)-1XtY=β

 

根据这个公式，我们自己设计一个例子，验证一下

 

设计二元一次方程：y=1+2x1+3x2

取样本为(1,1,1),(1,1,2),(1,2,1)，计算得y=(6,9,8)

注意：这里面常数项1相当于1*x0，只不过这里的x0永远取1

 

所以我们的

X = [[1,1,1],[1,1,2],[1,2,1]]

y = [[6],[9],[8]]

from numpy.linalg import inv #Compute the (multiplicative) inverse of a matrix
from numpy import dot,transpose #引入点乘，转置模块

from numpy.linalg import lstsq  #最小二乘

x = [[1,1,1],[1,1,2],[1,2,1]]
y = [[6],[9],[8]]
print(dot(inv(dot(transpose(x),x)),dot(transpose(x),y)))

print lstsq(x,y)[0] #用numpy的最小二乘函数直接计算出

执行结果为：

[[ 1.]
 [ 2.]
 [ 3.]]

这里面transpose是求转置，dot是求矩阵乘积，inv是求矩阵的逆

用scikit-learn求解多元线性回归

知道了原理，我们就直接尝试一下scikit-learn的线性模型回归吧

from sklearn.linear_model import LinearRegression

x = [[1,1,1],[1,1,2],[1,2,1]]
y = [[6],[9],[8]]

model = LinearRegression()
model.fit(x,y)
x2 = [[1,3,5]]
y2 = model.predict(x2)
print(y2)

刚好y=1+2x1+3x2=1+2*3+3*5=22