6、工程师统计学习方法介绍

工程师统计学习方法介绍

在机器学习领域，统计学习方法是进行数据建模和预测的重要工具。本文将介绍几种常见的统计学习方法，包括岭回归、LASSO和弹性网络，以及用于选择超参数的验证和交叉验证方法。

1. 岭回归

岭回归是一种经典的收缩方法，它通过对参数向量的大小施加二次惩罚来解决最小化问题。具体来说，岭回归的估计 $\hat{b}^r$ 是一个惩罚最小二乘估计，用于解决以下最小化问题：
[
RSS_{\lambda}(b) = \frac{1}{N} \sum_{j=1}^{N} (Y_j - b_0 - \sum_{k=1}^{p} b_k X_{jk})^2 + \lambda \sum_{k=1}^{p} b_k^2 = \min!
]
其中，惩罚项不包含截距项 $b_0$，因为它代表回归关系中的常数，不对应特定的预测变量。超参数 $\lambda \geq 0$ 控制着拟合数据和避免过拟合之间的平衡。当 $\lambda = 0$ 时，岭回归退化为普通的最小二乘估计。

通过拉格朗日乘数法，上述问题可以等价地表示为一个约束最小化问题：
[
\frac{1}{N} \sum_{j=1}^{N} (Y_j - b_0 - \sum_{k=1}^{p} b_k X_{jk})^2 = \min! \quad \text{under the constraint} \quad \sum_{k=1}^{p} b_k^2 \leq s
]
如果超参数 $s$ 较小（或 $\lambda$ 较大），则大多数参数估计 $\vert \hat{b} k \vert$ 会较小，只有少数 $X {j