u010199413的专栏

Caffe的模型参数转移到PyTorch上，最需要注意的是Caffe中的BN层+Scale层与PyTorch中BN层区别，理解之后BN层参数转移很简单。也可以参考GitHub代码：pytorch-caffeBatch NormalizationCaffe的BN+Scale等于PyTorch的BN，二者都可以用上述公式表达。在Caffe中，BN层负责计算均值E和方差Va...

为什么要对不同卷积层设置不同的学习率？如果某些网络层已经预训练过，那么联合训练时只希望微调它，则为其设置小一些的学习率，如果希望固定其参数，则学习率设置为0（也可以在优化器中忽略它）为不同卷积层设置不同的学习率 optimizer = Adam([ {'params': extractor.parameters()}, {'params': mod...

这篇文章需要大家对深度学习里的神经网络训练有一定的基础，我以前训练网络一直都是用的TensorFlow，后面需要把模型和数据迁移到Pytorch平台上去，发现很多里面有很多知识点需要注意，写这篇文章一方面是给自己做个笔记，总结下自己的经验，另一方面是为了方便想要快速上手Pytorch的同学。这篇文章主要内容有：Tensorflow的PlayGround Pytorch介绍和安装 Torch...