【AI-1000问】训练为什么要分测试集和验证集?

往期视频(前往有三AI公众号观看)

为什么要分训练集和测试集呢?

在很多的书以及一些公开数据集中,都会将数据集分为训练集,验证集和测试集,看起来验证集和测试集并没有区别,为什么要分这两个呢?

作者/编辑 言有三

 

验证集和测试集的定位是不同的,一个模型需要有好的泛化能力,需要同时在训练过的数据和没训练过的数据集上取得好的结果。

所以将训练集用于训练,验证集用于调参数,然后反复迭代直到满足性能。验证集扮演的就是一个辅助模型增加泛化能力的作用。而测试集不同,它仅仅用于最后评估模型的性能。对于用于比赛的公开数据集,验证集会公开标注,测试集不会公开。

训练集和验证集一般就是从同一个数据集随机拆分,比如要训练猫脸检测,找一个公开数据集。

但是最终评估模型好坏的时候,只用我自己拍摄的数据作为测试集,如果表现很好,那就说明模型是真好。

思考

不过平时的小任务可以不必刻意分,尤其是数据少的时候。当你训练好模型之后,就去找真实场景的数据反复测试吧,那才是测试集的奥义。

 

转载文章请后台联系

侵权必究

技术交流请移步知识星球

感谢各位看官的耐心阅读,不足之处希望多多指教。后续内容将会不定期奉上,欢迎大家关注有三公众号 有三AI

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值