13、线性回归基础：原理、挑战与解决方案

线性回归基础：原理、挑战与解决方案

1. 线性回归面临的挑战

线性回归在实际应用中会遇到一些挑战。首先，异常值（超出正常范围的值）会干扰线性回归，因为模型试图最小化误差（也称为残差）的平方值，而异常值具有较大的残差，会迫使算法更多地关注它们，而不是正常的点。

另外，线性回归在处理复杂关系时存在局限性。线性回归模型是独立项的总和，每个特征在总和中独立存在，仅乘以其自身的系数。这种数学形式适用于特征无关的情况，例如人的年龄和眼睛颜色，它们彼此不影响，可以视为独立项。但对于相关的特征，如人的年龄和头发颜色，随着年龄增长头发会变白，将这些特征放入回归总和中就像对相同信息进行求和，无法确定如何表示变量组合对结果的影响，即不能用数据表示复杂的情况。而且，线性回归的预测更多地受到偏差而不是方差的影响，因为它是加权特征的简单组合，在拟合观察到的结果值后，线性模型提出的解决方案总是特征的按比例缩放组合。

许多情况下，响应与特征之间的关系是非线性的。例如，人类从童年到成年的身高增长，在特定年龄范围内，年龄和身高的关系近似线性，但过了一定年龄，孩子停止生长，身高在很长一段时间内保持不变，老年时会缓慢下降，线性回归无法捕捉这种非线性关系。

2. 多项式展开建模复杂关系

为了建模复杂关系，可以使用多项式展开对预测变量进行数学变换。给定一个特定的次数 $d$，多项式展开会创建每个特征的幂直到 $d$ 次幂，并生成所有项的 $d$ 组合。例如，对于简单的线性模型 $y = b_1x_1 + b_2x_2 + a$，使用二次多项式展开后，模型变为 $y = b_1x_1 + b_2x_2 + a + b_3x_1^2 + b_4x_2^2 + b_5x_1x_2$。随着多项式展开