比赛结束半个多月了,终于来做总结了,第一次SOLO参与这样的比赛,最终成绩是TOP15%,离铜牌区差的也不远了,可惜自己就差那一点时间,或者说就是因为自己前期犯了很多错以及毫无比赛经验,比赛里面太多高手了,也有很多乐于分享的人,学到了很多,于是做个总结,记录一下,也给需要的朋友分享。
下面分点给出一些个人认为对于深度学习竞赛有用的点(不以重要性排序)
1.GPU资源,没有这个寸步难行,更别提人家大佬的GPU比你的好,比你的多😂。但是这也不是我们放弃的理由,从初学者的角度来看,GPU资源足够很重要的一点是可以让你有更多的机会试错。在相同的知识水平下,训练一次模型一个小时跟训练一次十分钟对比,一个人做一次实验,另一个人已经做了六次,那你说,是谁获取的有用信息多呢?况且深度学习领域,即使你查了很多paper,知道了很多技巧,但就我个人经验来说,把他们带入你的代码中,并不能有提升,甚至有反作用,我不认为他们的东西就是假的,只是泛化性不太行吧哈哈,至于最终有没有用,还是得实验说话。(导师老是说深度学习里面做的这些没什么理论支撑,我也想有理论指导😂,可惜对我来说,大多数都是先做实验,获取到理想的结果之后,再来反推罢了)
2.写一个好的pipeline。pipeline就是指你的用来产生你的最后提交模型的项目代码,可以理解为生产模型的流水线(个人理解)。这点挺重要的,自己动手写一个好用的模板,不仅对本次比赛有效,以后的比赛也可以沿用这个模板,可以节约一些重复性工作的时间。本人就是因为对于创建一个竞赛pipeline不熟悉,所以最后写出来的代码存在很多bug,费尽心思调好了以后,cv和lb(即本地验证集得分与公共排行榜得分)gap特别大,于是调整了很久,浪费了大把时间。所以写一个好的训练代码模板吧,提前就