4、多项式曲线拟合与模型复杂度控制

多项式曲线拟合与模型复杂度控制

1. 引言

在实际应用中，我们常常需要根据已知的输入变量 $x$ 来预测目标变量 $t$ 的值。为了更好地理解和解决这类问题，我们引入一个简单的回归问题作为示例。这个示例使用合成数据，数据由函数 $\sin(2\pi x)$ 生成，并在目标值中加入了随机噪声。我们的目标是利用训练集对新的输入值 $\hat{x}$ 预测目标变量 $\hat{t}$ 的值，而不依赖于生成数据的具体函数。

概率理论、决策理论和信息理论是解决这类问题的重要工具。虽然这些理论听起来复杂，但实际上它们是解决实际问题的基础，对理解和应用机器学习技术至关重要。

2. 多项式曲线拟合示例

2.1 数据生成

我们使用合成数据进行分析，输入数据集 $x$ 的值在 $[0, 1]$ 范围内均匀选取，目标数据集 $t$ 由函数 $\sin(2\pi x)$ 生成，并加入了高斯分布的随机噪声。这种数据生成方式模拟了许多实际数据集的特点，即数据具有潜在的规律性，但个体观测值受到随机噪声的干扰。

2.2 多项式拟合

我们使用多项式函数 $y(x, w)$ 来拟合数据，其形式为：
[y(x, w) = w_0 + w_1x + w_2x^2 + \cdots + w_Mx^M = \sum_{j=0}^{M} w_jx^j]
其中，$M$ 是多项式的阶数，$w$ 是多项式的系数向量。虽然 $y(x, w)$ 是 $x$ 的非线性函数，但它是系数 $w$ 的线性函数，这种线性模型具有重要的性质。

为了确定系数 $w$ 的值，我们需要最小化一个误差函数。常用的误差函数是预