qq_41488595的博客

AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE本文的工作非常简单，架构也是很Simple的，利用Transformer中的Encoder来做图像工作，将图像分成N个PXP的patch，拉长之后通过Linear将所得序列pad到固定长度，之后添加相应的position encoding ，并在这些patch序列之前添加一个pos为0的信息，当做最后的分类向

文章目录论文阅读MBConv结构代码实现modeltrainpredict实验结果论文阅读感谢p导EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks本文主要工作是提出了一个在三个维度上（图像分辨率R、网络深度D、channel的宽度W）的合理scale方法。在之前的一些论文中，基本都是通过改变上述3个参数中的一个来提升网络的性能。通过增加网络深度，例如block的堆叠；增加网络宽度，增加每层feature

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices文章中提出了一个非常有效的Architecture——ShuffleNet，主要使用两种操作，分组PW卷积和通道重排，在保证准确率的情况下降低了计算代价之前提出的模型，Xception和ResNeXt因为其中大量的Pw操作使得计算代价挺高，无法实现小型模型

文章目录论文阅读代码实现modeltrainpredict实验结果论文阅读感谢p导论文链接：MobileNetV2: Inverted Residuals and Linear Bottlenecks主要亮点是提出了带线性瓶颈层的倒残差结构回顾MobileNet V1，主要是将普通Conv转换为dw和pw，但是在dw中训练出来可能会很多0，也就是depthwise部分得到卷积核会废掉，即卷积核参数大部分为0，因为权重数量可能过少，再加上Relu激活函数的原因V2为了解决这方面的问题，提出去掉在低

文章目录论文阅读代码实现modeltrainpredict实验结果论文阅读感谢p导论文链接：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications主要亮点有两个：1、Depthwise separable convlution(a depthwise convolution and a 1*1 convolution) replace standard convolution2、添加了两个

文章目录论文阅读代码实现modeltrainpredict实验结果论文阅读感谢p导Aggregated Residual Transformations for Deep Neural Networks依旧是何凯明大神的论文，只不过这个里面何凯明大神是2作创新点目测只有一个：就是更新了ResNet中的bottleneck的残差块，将残差网络与分组卷积相结合一种高度模块化的网络结构，提出来一个新的维度，叫做cardinality，也就是卷积的分组个数。使用的是VGG中的策略。split-tr

文章目录论文阅读模型图示代码实现modeltrainpredictbatch_predict实验结果论文阅读感谢p导有错误希望可以指正论文中提出了残差思想、两种残差块随着AlexNet出现之后，大家都开始来堆叠网络VGG得到的结果表明深度会提高准确率之后在加深过程中碰到了一系列问题，梯度消失和梯度爆炸，GoogLeNet中为了解决这个问题导致的浅层部分训练不到添加了两个辅助分类器来计算loss，可以使用BN来进行解决。另外一个问题就是退化，这个问题不是由过拟合导致的，因为在训练集和测

文章目录论文阅读模型图示代码实现modeltrainpredict实验结果![在这里插入图片描述](https://img-blog.csdnimg.cn/2fa87efd8d7c4987968071b9e869db49.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5q-P5Liq5Lq66YO95piv5a2Z56yR5bed,size_14,color_FFFFFF,t_70,g_se,x_16

这个论文section2就讲Alexnet的LRN没有用，果然喷前任的论文才是最好的点子1、使用3* 3卷积来模拟7* 7和5* 5卷积2、对于ALexnet中使用的数据增强方法这里有了改进，关于不同大小目标的随机裁剪原图像大小进行了调整，针对原图像大小随机尺度的训练，进行了预置S=384模型图示D、E对应的是VGG16、19下面的图源网络，侵权删代码实现model.py这里把全连接层改成2048了，原论文是4096，

non-saturating neurons——非饱和神经元，也就是神经元对应的激活函数不会将结果压缩到特定值saturating neurons = 被挤压（到一个特定的区间）过的值nn.ReLU(inplace=True)其中inplace代表是否进行覆盖操作，降低内存使用量...

使用的数据集为CIFAR10Lenet很简单，就没去看论文模型图示代码实现model.pyfrom torch import nnimport torch.nn.functional as F class LeNet(nn.Module): def __init__(self): super(LeNet,self).__init__() self.conv1=nn.Conv2d(in_channels=3,out_c