模型过拟合问题

概念
过拟合就是训练出来的模型在训练集上表示很好，但在测试集上表现较差的一种现象
原因
1、数据有噪声（即不相关的干扰因素）
2、训练数据不足
3、训练模型过度导致模型非常复杂
解决方式
1、early stopping
提前结束训练，就是找到了一个点，这个点的参数精确值最高，并且在接下来的n次训练中精度都不如这个点，那么就提前结束，n的选择视情况而定
2、数据集扩增

• 可以在数据源获取更多数据
• 将原本的数据复制几倍，可以加上随机噪声
• 根据已知模型构造更多数据

3、正则化方法
结构风险最小化、模型复杂度的约束
简单来说，就是对于一个训练集我们可能会得到不止一个模型，那么在这些得到的模型中一定会有一个复杂度最小的，使用正则化方法就是尽量让得到的这个模型就是这个复杂度最小的，这样来防止过拟合的发生
常用的正则化方法：

• L0范数（参数为0的个数最多时）
• L1正则
• L2正则
• P范数
• 核范数
• 无穷范数（向量元素中绝对值的最小值）