原来看着作业一步步来不觉得。真正做起作业来,才知道自己的菜啊。
还好有助教大佬的baseline,这里就分享一下学习助教大佬baseline的心得吧。
- 全局平均池化。这个技巧可以在某些场合代替全连接层,减小过拟合。但是据说可能不利于迁移学习。
- ResNet网络的搭建。这一部分和课程差不太多,还勉强能理解。不过关于里面的超参,感觉就比较玄学了。
- 寻最优结果的方法。baseline里面是从设计好的网络中,比较各个epoch的结果。其实DL里面也有很多超参,是不是也可以写成通过接口调用,像网格搜索那样呢,这个感觉比较期待。
- 后来又有大佬分享了效果更好的代码,讨论了一些新鲜的名词,这里也稍微mark一下。WRN(wide residual networks)