过拟合,欠拟合及解决办法

过拟合:模型在训练集上的表现很好,但在测试集和新数据上的表现较差 。
降低“过拟合”冈险的方法
( 1 )增加训练数据。可以通过一定的规则来扩充训练数据 。 比如在图像分类的问题上,可以通过图像的平移、旋转、缩放等方式扩充数据,更进一步地,可以使用生成式对抗网络来合成大量的新训练数据 。
( 2 )降低模型复杂度 。适当降低模型复杂度可以避免模型拟合过多的采样噪声。例如,在神经网络模型中减少网络层数、神经元个数等;在决策树模型中降低树的深度 、进行剪枝等。
( 3 )正则化方法 。 给模型的参数加上一定的正则约束,比如L2正则,Dropout等 。
( 4 )集成学习方法 。 集成学习是把多个模型集成在一起,来降低单一模型的过拟合风险,如 Bagging 方法 。
欠拟合:模型在训练和预测时表现都不好的情况 。
降低“欠拟合”凤险的方法
( 1 )添加新特征 。 当特征不足或者现奇特征与样本标签的相关性不强时模型容易出现欠拟合 。在深度学习潮流中,有很多模型可以帮助完成特征工程,如因子分解机、梯度提升决策树、Deep-crossing 等都可以成为丰富特征的方法 。
( 2 )增加模型复杂度 。 简单模型的学习能力较差,通过增加模型的复杂度可以便模型拥高更强的拟合能力 。 例如,在统性模型中添加高次I页,在神经网络模型中增加网络层数或神经元个数等 。
( 3 )减小正则化系数 。 正则化是用来防止过拟台的,但当模型出现欠拟合现象时,则需要高针对性地减小正则化系数。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值