Task03

• 过拟合、欠拟合

• [1] 机器学习模型应关注降低泛化误差。

• [2] 欠拟合：模型无法得到较低的训练误差

• [3] 过拟合：模型的训练误差远小于它在测试数据集上的误差

• [4] 影响因素：模型复杂度和训练数据集大小
  其中，模型复杂度和误差之间的关系：

• [5] 解决方法：

• 权重衰减：L2 范数正则化，在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。

• 丢弃法：隐藏单元将有一定概率被丢弃掉。丢弃概率是丢弃法的超参数。丢弃法不改变其输入的期望值。
  在测试模型时，我们为了拿到更加确定性的结果，一般不使用丢弃法。