36、线性基函数模型：原理、算法与正则化

线性基函数模型：原理、算法与正则化

1. 最小二乘法的几何解释

在分析数据和构建回归模型时，最小二乘法是一种常用的方法。为了更好地理解最小二乘法的解，我们可以从几何的角度进行阐释。

考虑一个 $N$ 维空间，其坐标轴由 $t_1, \cdots, t_N$ 确定，那么向量 $t = (t_1, \cdots, t_N)^T$ 就是这个空间中的一个向量。每个基函数 $\varphi_j(x_n)$ 在 $N$ 个数据点上的取值，也能在这个空间中用向量 $\boldsymbol{\phi}_j$ 来表示，$\boldsymbol{\phi}_j$ 对应于矩阵 $\boldsymbol{\Phi}$ 的第 $j$ 列，而 $\varphi(x_n)$ 对应于 $\boldsymbol{\Phi}$ 的第 $n$ 行。

如果基函数的数量 $M$ 小于数据点的数量 $N$，那么这 $M$ 个向量 $\boldsymbol{\phi}_j$ 会张成一个维度为 $M$ 的线性子空间 $S$。我们定义向量 $\boldsymbol{y}$ 为一个 $N$ 维向量，其第 $n$ 个元素为 $y(x_n, \boldsymbol{w})$，其中 $n = 1, \cdots, N$。由于 $\boldsymbol{y}$ 是向量 $\boldsymbol{\phi}_j$ 的任意线性组合，它可以位于这个 $M$ 维子空间的任何位置。

最小二乘误差（公式 3.12）在乘以一个系数 $1/2$ 后，等于向量 $\boldsymbol{y}$ 和 $\boldsymbol{t}$ 之间的欧几里得距离的平方。因此，最小二乘法求解 $\boldsymbol{w}$ 就相当于在子空间 $S$