14、回归分析：过定与欠定系统及优化策略

回归分析：过定与欠定系统及优化策略

1. 梯度下降与交替下降法

在函数优化问题中，梯度下降和交替下降法是常用的方法。以图 4.3(b) 中的函数为例，梯度下降法应用时，给出了三个初始条件((x_0, y_0) = {(0, 4), (−5, 0), (2, −5)})。其中，初始条件为((0, 4))（用红色圆圈表示）陷入了局部最小值，而另外两个初始条件（蓝色和品红色）找到了全局最小值。该方法通过对图 4.5 中梯度函数的插值来更新解。

交替下降法同样应用于图 4.3(b) 中的函数，初始条件为((x_0, y_0) = {(4, 0), (0, −5), (−5, 2)})。初始条件为((4, 0))（红色圆圈）陷入局部最小值，另外两个找到全局最小值。此方法无需计算梯度来更新解，与梯度下降法相比，收敛速度更快。因为交替下降法每次只需要对一个变量进行线搜索，可能会加快计算速度，而且该方法无需求导，在很多应用中具有吸引力。

2. 回归与线性系统 (Ax = b)

曲线拟合通常会转化为一个优化问题，在很多情况下，这个优化问题可以用线性方程组 (Ax = b) 来表示。在现代数据科学中，线性系统 (Ax = b) 往往是过定或欠定的。
- 过定系统 ：约束条件（方程）数量多于未知变量数量，一般不存在满足线性系统的精确解，通常需要找到近似解来最小化给定误差。
- 欠定系统 ：未知变量数量多于约束条件数量，存在无穷多个解，需要额外的约束条件来选择合适且唯一的解。

对于线性系统 (Ax = b)，简单的求解方法是使用摩尔 - 彭罗斯伪逆 (A^{\dag