WX_Chen的博客

train.pyimport osimport torch.optim as optimimport torchimport torch.nn as nnimport torch.nn.parallelimport torch.utils.dataimport torch.utils.data.distributedimport torchvision.transforms as transformsimport torchvision.datasets as datasetsim

ResNet残差网络,最早的 ResNet 是由 MSRA团队提出的一个 152 层的网络，在2015年的 ILSVRC2015 取得了冠军,比14年的 VGG 和 GoogLeNet 好了不少随着网络越来越深，大家发现，仅仅靠 BN、ReLU、DropOut 等 Trick无法解决收敛问题，相反，网络的加深带来参数的增加。网络并不是越深越好，一方面过多的参数容易导致过拟合（当然样本足够多可以一定程度上解决这个问题）；另一方面，训练结果会在真值周围变化，导致网络震荡。在训练分类器的时候，用到的 GB

VGG有很多个版本，也算是比较稳定和经典的model。它的特点也是连续conv多，计算量巨大（比前面几个都大很多）。（参数量：GoogleNet < AlexNet < VGG）http://www.sohu.com/a/134347664_642762VGG-16入门卷积结果维度=(原图像维度+padding*2-卷积核维度)/stride+1https://blog.youkuaiyun.com/Errors_In_Life/article/details/65950699VGGNet .

googlenet，14年比赛冠军的model，这个model证明了一件事：用更多的卷积，更深的层次可以得到更好的结构。GoogLeNet提出了Inception新模块，以增加网络的宽度Inception结构：========================================================================================一般来说，提升网络性能最直接的办法就是增加网络深度和宽度，但一味地增加，会带来诸多问题：1）参数太多..

Lenet，1998年Alexnet，2012年 改进模型 ZFNetGoogleNet，2014年VGG，2014年ResNet，2015年Deep Residual Learning，2015年从下往上看：LeNet 7层：卷积、池化、卷积、池化、卷积、全连接、softmax输出AlexNet 11层：5个卷积、3个池化、3个全连接8个模块（5层卷积+3层全连接+输出）：卷积+ReLU+池化+标准化、卷积+ReLU+池化+标准化、卷积+ReLU、卷积+ReLU、卷积...

学习CNN mnist代码 TensorFlow实现https://zhuanlan.zhihu.com/p/27870208bug最终解决！！！ OneHot问题https://stackoverflow.com/questions/49065312/valueerror-cannot-feed-value-of-shape-50-for-tensor-placeholder-10-whichLeNet-5实现mnist分类识别的代码解释 Tensorflowhttps://www.codet.