whut_ldz的博客

继上篇文章提出的两种预训练模型的修改方法外，今天在这里推荐我新学习到的一种方法：这里还是以resnet模型为参考，在去掉预训练resnet模型的后两层(fc层和pooling层)后，新添加一个反卷积层、池化层和分类层。那么对于网络的修改怎样可以快速的去除model本身的网络层呢？一个继承nn.module的model它包含一个叫做children()的函数，这个函数可以用来提取出mod

之前对于pytorch的网络编程学习都是大致理解每一层的概念，有些语法语句没有从原理上弄清楚，就比如标题的x = x.view(x.size(0), -1)  。这句话一般出现在model类的forward函数中，具体位置一般都是在调用分类器之前。分类器是一个简单的nn.Linear()结构，输入输出都是维度为一的值，x = x.view(x.size(0), -1)  这句话的出现就是为了将

原文见点击打开链接学习率的重要性目前深度学习使用的都是非常简单的一阶收敛算法，梯度下降法，不管有多少自适应的优化算法，本质上都是对梯度下降法的各种变形，所以初始学习率对深层网络的收敛起着决定性的作用，下面就是梯度下降法的公式[Math Processing Error]w:=w−α∂∂wloss(w)这里[Math Processing Error]α就是学习率