30、机器学习中的正则化与支持向量机

机器学习中的正则化与支持向量机

1. 基函数与过拟合问题

在机器学习的线性回归中，引入基函数可以让模型变得更加灵活。但这也容易导致过拟合问题。例如，当选择过多的高斯基函数时，模型的拟合效果可能会变差。

1.1 高斯基函数示例

以下代码展示了使用30个高斯基函数进行线性回归的过程：

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import GaussianFeatures
from sklearn.linear_model import LinearRegression
import numpy as np
import matplotlib.pyplot as plt

# 假设 x 和 y 是已有数据
model = make_pipeline(GaussianFeatures(30), LinearRegression())
model.fit(x[:, np.newaxis], y)
plt.scatter(x, y)
plt.plot(xfit, model.predict(xfit[:, np.newaxis]))
plt.xlim(0, 10)
plt.ylim(-1.5, 1.5)

这个模型由于使用了过多的基函数，变得过于复杂，出现了过拟合现象。从下面的代码可以进一步分析基函数系数的情况：

def basis_plot(model, title=None):
    f