30、线性回归与支持向量机的深入探讨

线性回归与支持向量机的深入探讨

1. 线性回归与基函数

在进行线性回归时，引入基函数可以让模型变得更加灵活。例如，我们可以使用高斯基函数进行拟合：

return self._gauss_basis(X[:, :, np.newaxis], self.centers_,
                         self.width_, axis=1)
gauss_model = make_pipeline(GaussianFeatures(20),
                            LinearRegression())
gauss_model.fit(x[:, np.newaxis], y)
yfit = gauss_model.predict(xfit[:, np.newaxis])
plt.scatter(x, y)
plt.plot(xfit, yfit)
plt.xlim(0, 10);

这表明多项式基函数并非唯一选择，如果对数据的生成过程有一定的直觉，认为其他基函数更合适，也可以使用它们。

1.1 过拟合问题

然而，引入基函数也容易导致过拟合。当选择过多的高斯基函数时，模型会变得过于复杂，从而出现过拟合的情况。例如：

model = make_pipeline(GaussianFeatures(30),
                      LinearRegression())
model.fit(x[:, np.newaxis