【深度学习】正则化（超详解）

学习目标

• 目标
  • 了解偏差与方差的意义
  • 知道L2正则化与L1正则化的数学意义
  • 知道Droupout正则化的方法
  • 了解早停止法、数据增强法的其它正则化方式

1. 偏差与方差

1.1 数据集划分

首先我们对机器学习当中涉及到的数据集划分进行一个简单的复习

• 训练集（train set）：用训练集对算法或模型进行训练过程；
• 验证集（development set）：利用验证集（又称为简单交叉验证集，hold-out cross validation set）进行交叉验证，选择出最好的模型；
• 测试集（test set）：最后利用测试集对模型进行测试，对学习方法进行评估。

在小数据量的时代，如 100、1000、10000 的数据量大小，可以将数据集按照以下比例进行划分：

• 无验证集的情况：70% / 30%
• 有验证集的情况：60% / 20% / 20%

而在如今的大数据时代