13、机器学习中的回归模型与正则化方法

机器学习中的回归模型与正则化方法

1. 多项式回归与特征组合

在机器学习中，多项式回归是一种强大的工具。例如，有一个模型估计 $\hat{y} = 0.56x_1^2 + 0.93x_1 + 1.78$，而原始函数为 $y = 0.5x_1^2 + 1.0x_1 + 2.0 +$ 高斯噪声，这表明模型的估计与原始函数较为接近。

当存在多个特征时，多项式回归能够发现特征之间的关系，这是普通线性回归模型无法做到的。这得益于 PolynomialFeatures 会添加给定阶数内所有特征的组合。例如，若有两个特征 $a$ 和 $b$， PolynomialFeatures 阶数为 3 时，不仅会添加 $a$、$a^2$、$b$、$b^2$ 这些特征，还会添加 $ab$、$a^2b$ 和 $ab^2$ 等组合。

不过，需要注意的是， PolynomialFeatures(degree=d) 会将包含 $n$ 个特征的数组转换为包含 $\frac{(n + d)!}{d! n!}$ 个特征的数组，这里 $n!$ 是 $n$ 的阶乘，即 $1 × 2 × 3 × … × n$。因此，要警惕特征数量的组合爆炸问题。

2. 学习曲线

2.1 高次多项式回归的过拟合与欠拟合

如果进行高次多项式回归，很可能会比普通线性回归更好地拟合训练数据。例如，对训练数据应用 300 次多项式模型，并与纯线性模型和二次模型（二阶多项式）进行比较。可以看到，300 次多项式模型会剧烈波动以尽可能接近训练实例，这表明该高次多项式回归模型严重过拟合训练数据，而线性模型则欠拟合数据