正则化

通过降低复杂模型的复杂度来防止过拟合的规则称为正则化。

1. L1正则化，即原损失函数 + 所有权重的平均绝对值 * λ ，其中λ >0
2. L2正则化，即原损失函数 + 所有权重平方和的平均值 * λ / 2 , λ>0

L1 正则化可以理解为每次从权重中减去一个常数。

L2 正则化可以理解为每次移除权重的 x%。

本质都是为了降低模型的复杂度，防止过拟合。