“过拟合”和“欠拟合”
过拟合
- 泛化能力差,训练集效果好,测试集效果差。
方法
- 从数据入手,获得更多训练数据
图像:平移、旋转、缩放
使用生成式对抗网络合成大量新数据- 降低模型复杂度
树:降低深度,剪枝
神经网络:减少层数,神经元个数- 正则化
- 集成学习Bagging
欠拟合
- 训练集和测试集效果都差。
方法
- 增加新特征
特征组合- 增加模型复杂度
线性模型:加高次项
树:增加深度
神经网络:增加层数,神经元个数- 减小正则化系数
- 集成学习Boosting
过拟合
- 泛化能力差,训练集效果好,测试集效果差。
方法
- 从数据入手,获得更多训练数据
图像:平移、旋转、缩放
使用生成式对抗网络合成大量新数据- 降低模型复杂度
树:降低深度,剪枝
神经网络:减少层数,神经元个数- 正则化
- 集成学习Bagging
欠拟合
- 训练集和测试集效果都差。
方法
- 增加新特征
特征组合- 增加模型复杂度
线性模型:加高次项
树:增加深度
神经网络:增加层数,神经元个数- 减小正则化系数
- 集成学习Boosting