机器学习-07 基于sklearn 广义线性模型- 多项式回归

多项式回归

在前面我们已经掌握了曲线拟合的一种方法——分段线性化。把无数条直线串在一起，每一条直线拟合曲线的一部分，这样就近似的拟合了整条曲线。可是这也增加了需要优化的参数个数，也使一条光滑的曲线分裂成小的直线，这显然是我们不希望见到的。那么还有别的方法吗，多项式回归就可以对非线性函数进行拟合。
多项式回归问题可以通过变量转换化为多元线性回归问题来解决。
下面我们给出一个二元二次方程：
$$\hat{y}(w,x)=w_0+w_1{x}_1+w_2{x}_2+w_3{x}_1{x}_2+w_4{x}_1^2+w_5{x}_2^2$$
通过引入$z_1=x_1$,$z_2=x_2$,$z_3=x_1{x}_2$,$z_4=x_1^2$,$z_5=x_2^2$,可以得到：
$$z=[x_1,x_2,x_1{x}_2,x_1^2,x_2^2]$$
有了这些重新标记的数据，原表达式可以写成如下的一元线性方程：
$$\hat{y}(w,x)=w_0+w_1{z}_1+w_2{z}_2+w_3{z}_3+w_4{z}_4+w_5{z}_5$$
多项式回归在回归分析中很重要，因为任意一个函数至少在一个较小的范围内都可以用多项式任意逼近，因此在比较复杂的实际问题中，有时不问y与诸元素的确切关系如何，而用回归分析进行分析运算。
比如，对房屋成交信息建立多项式回归方程，并依据回归方程对房屋价格进行预测 。

代码实现

import numpy as np
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt

x = np.random.uniform(-3, 3, size = 100)
X = x.reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size = 100)

ploy = PolynomialFeatures(degree=2)
ploy.fit(X)
X2 = ploy.transform(X)

lin_reg2 = LinearRegression()
lin_reg2.fit(X2, y)
y_predict2 = lin_reg2.predict(X2)
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r')
plt.show()

import numpy as np
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt

x = np.random.uniform(-3, 3, size=100)
X = x.reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0,1,size = 100)

poly_reg = Pipeline([
                    ("poly",PolynomialFeatures(degree = 2)),
		            ("std_scaler",StandardScaler()),
		            ("lin_reg",LinearRegression())
                    ])

poly_reg.fit(X, y)
y_predict = poly_reg.predict(X)
plt.scatter(x, y)
plt.plot(np.sort(x),y_predict[np.argsort(x)], color='r')
plt.show()