17、机器学习中的多种回归与决策树模型

机器学习中的多种回归与决策树模型

1. 正则化（Regularization）

在实际应用中，我们常常需要对包含大量变量的数据集进行线性回归分析。但这会带来一些问题：
- 过拟合风险 ：使用的变量越多，模型就越容易过拟合训练集。
- 系数解释困难 ：非零系数越多，就越难理解这些系数的含义。如果目标是解释某种现象，一个包含三个因素的稀疏模型可能比一个包含数百个因素的稍好模型更有用。

正则化是一种通过在误差项中添加惩罚项来解决这些问题的方法。惩罚项会随着系数（beta）的增大而增大，我们的目标是最小化误差和惩罚项的总和。惩罚项越重要，就越能抑制大系数的出现。

岭回归（Ridge Regression）

在岭回归中，我们添加的惩罚项与系数的平方和成正比（通常不惩罚常数项 beta_0）：

def ridge_penalty(beta: Vector, alpha: float) -> float:
    return alpha * dot(beta[1:], beta[1:])

def squared_error_ridge(x: Vector,
                        y: float,
                        beta: Vector,
                        alpha: float) -> float:
    """estimate error plus ridge penalty on