11、机器学习中的参数估计与优化方法

机器学习中的参数估计与优化方法

1. 正则化

在机器学习中，正则化是一种重要的技术，用于防止模型过拟合。正则化的核心问题之一是如何选择正则化强度 $\lambda$。较小的 $\lambda$ 值会使模型专注于最小化经验风险，可能导致过拟合；而较大的 $\lambda$ 值则会使模型更接近先验，可能导致欠拟合。

1.1 使用验证集选择正则化参数

一种常用的选择 $\lambda$ 的方法是将数据划分为训练集 $D_{train}$ 和验证集 $D_{valid}$（通常使用约 80%的数据作为训练集，20%作为验证集）。具体步骤如下：
1. 对于每个 $\lambda$ 设置，在 $D_{train}$ 上拟合模型。
2. 在 $D_{valid}$ 上评估模型性能。
3. 选择使验证性能最佳的 $\lambda$ 值。

这里涉及到一些符号定义：
- 正则化经验风险：$R_{\lambda}(D, \theta) = \frac{1}{|D|} \sum_{(x,y) \in D} \ell(y, f(x; \theta)) + \lambda C(\theta)$
- 参数估计：$\hat{\theta} {\lambda}(D {train}) = \arg\min_{\theta} R_{\lambda}(D_{train}, \theta)$
- 验证风险：$R_{val}^{\lambda} \triangleq R_0(D_{valid}, \hat{\theta} {\lambda}(D {train}))$
- 最终选择的 $\