10、机器学习中的正则化与参数优化

机器学习中的正则化与参数优化

1. 正则化概述

在实际应用中，模型的灵活性与训练数据量之间存在着紧密的关系。当模型过于灵活，而训练数据量有限时，模型容易出现过拟合现象，即模型在训练数据上表现良好，但在新数据上的泛化能力较差。使用严格适当的损失函数有助于训练出忠实于数据真实统计特性的模型，但仅靠这一点并不能保证模型能很好地描述这些特性。

在许多实际应用中，为了做出稳健且明智的决策，获取模型预测的可靠不确定性估计是必要的。因此，验证模型不仅要考虑准确性或预期误差，还要考虑其统计特性。

正则化是避免过拟合的有效工具。其核心思想是在参数模型中，“除非数据有足够的说服力，否则保持参数较小”，或者说“如果参数值较小的模型与参数值较大的模型对数据的拟合效果相近，应优先选择参数值较小的模型”。正则化可分为显式正则化和隐式正则化。

2. 显式正则化

显式正则化主要通过修改成本函数来实现，常见的有L2正则化和L1正则化。

2.1 L2正则化

L2正则化，也称为Tikhonov正则化、岭回归和权重衰减，是在成本函数中添加一个额外的惩罚项 $|\theta| 2^2$。以具有平方误差损失的线性回归为例，L2正则化的问题可以表示为：
[
\hat{\theta} = \arg \min {\theta} \frac{1}{n} |\mathbf{X}\theta - \mathbf{y}|_2^2 + \lambda |\theta|_2^2
]
通过选择正则化参数 $\lambda \geq 0$，可以在原始成本函数（尽可能拟合训练数据）和正则化项（使参数