本文探讨了CosineAnnealingLR学习率调度策略在模型训练中的重要性，以及测试集数据增广对结果的影响。此外，介绍了softlabel在模型蒸馏中的运用，通过小模型学习大模型的输出分布，以及何时适合使用伪标签技术，如精度高且常用于深度学习。
CosineAnnealingLR:模型受学习率影响大的模型
测试集数据增广：基本对结果有0.5%-1%的影响
注意：训练集用了哪些数据扩增方法，测试集才可以用对应的数据扩增方法
soft label 与 pseudo label
如何利用soft label进行模型蒸馏？
用小模型学习大模型输出的分布
是利用模型对测试集进行预测（打标），并将打标后的数据加入训练集进行训练
伪标签适用的条件是模型精度比较高，且是深度学习用的比较多
深度学习面试题：计算机视觉训练技巧
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
