欠拟合与过拟合、正则化方法介绍

1. 欠拟合

欠拟合一般由于选取的特征太少导致模型的表达能力差，捕捉信息能力不足，而不是说训练数据太少

解决方法：

1）添加其他特征

2）转换为多项式模型

3）当出现欠拟合时，减少正则化参数（正则化是用来防止过拟合的）。

2. 过拟合

过拟合就是模型把数据学习的太彻底，把噪声数据的特征也学习了，模型泛化能力太差。

解决方法：

1）重新清洗数据，减少噪音数据

2）增大数据的训练量，防止训练数据占总数据的比例过小。

3）采用正则化方法。

4）采用dropout方法。在训练的时候让神经元以一定的概率不工作。

3.正则化方法

正则化方法一般是在目标函数之后加上相应的范数，包括L0正则、L1正则和L2正则。

在机器学习中一般使用L2正则：

L0范数是指向量中非0的元素的个数。L1范数是指向量中各个元素绝对值之和，由于L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解，所以L1范数更受关注。

L2范数是指向量各元素的平方和然后求平方根。更小的w意味着模型的复杂度更低，不会过分拟合训练数据，以提高模型的泛化能力。