16、机器学习中的正则化、评估指标与性能优化

机器学习中的正则化、评估指标与性能优化

正则化：权重衰减与稀疏张量

在机器学习模型训练过程中，正则化是一种非常重要的技术，它可以帮助我们避免过拟合问题，提高模型的泛化能力。其中，权重衰减是一种常见的正则化方法，它能够使模型的权重逐渐趋近于零。

以一个具有两个特征的人工数据集为例，在进行 $ℓ_2$ 正则化（$\gamma = 10^{-3}$，$\lambda = 0.1$）的情况下，经过 1000 个训练周期后，权重 $w_{12}^{[5,3]}$ 会迅速下降至几乎为零，其值达到 $2 \cdot 10^{-21}$。通过观察不同层中权重小于 $1e - 3$ 的比例，我们可以更直观地看到正则化的效果。以下是具体的数据对比：
| 层 | $\lambda = 0$ 时权重小于 $1e - 3$ 的百分比 | $\lambda = 3$ 时权重小于 $1e - 3$ 的百分比 |
| — | — | — |
| 1 | 0.0 | 52.7 |
| 2 | 0.25 | 53.8 |
| 3 | 0.75 | 46.3 |
| 4 | 0.25 | 45.3 |
| 5 | 0.0 | 60.0 |

从这个表格中可以明显看出，使用正则化后，各层中权重趋近于零的比例大幅增加。这是因为权重衰减的过程类似于指数衰减。我们可以通过权重更新方程来理解这一点。假设权重更新方程为：
$w_{j,n + 1}^{[l]} = w_{j,n}^{[l]} - \gamma \left( \frac{\partial J}{\partial w_{j,n}^{[l]}} + \lambda w_{j,n}^{[l]}