27、机器学习中的线性回归与降维技术详解

机器学习中的线性回归与降维技术详解

1. 最大似然估计的正交投影解释

在简单线性回归中，我们考虑如下模型：
[y = x\theta + \epsilon, \quad \epsilon \sim N(0, \sigma^2)]
这里，线性函数 (f: R \to R) 过原点，参数 (\theta) 决定直线的斜率。对于训练数据集 ({(x_1, y_1), \ldots, (x_N, y_N)})，斜率参数的最大似然估计为：
[\theta_{ML} = (X^{\top}X)^{-1}X^{\top}y = \frac{X^{\top}y}{X^{\top}X} \in R]
其中 (X = [x_1, \ldots, x_N]^{\top} \in R^N)，(y = [y_1, \ldots, y_N]^{\top} \in R^N)。对于训练输入 (X)，训练目标的最优（最大似然）重建为：
[X\theta_{ML} = X\frac{X^{\top}y}{X^{\top}X} = \frac{XX^{\top}}{X^{\top}X}y]
这意味着我们得到了 (y) 和 (X\theta) 之间最小二乘误差的近似。

线性回归可以看作是求解线性方程组的问题，因此可以与线性代数和解析几何的概念联系起来。具体来说，最大似然估计 (\theta_{ML}) 实际上是将 (y) 正交投影到由 (X) 张成的一维子空间上。其中，(\frac{XX^{\top}}{X^{\top}X}) 是投影矩阵，(\theta_{ML}) 是投影到由 (X) 张成的 (R^N) 一维子空间的坐标，(X\theta_{ML}) 是 (y) 到该子空间的正