ZDA_fight的博客

1905_EfficientNet_Google图：特点，优点：可以通过相似的体系结构解决这两个问题。 他们提出了一种通用的CNN骨架架构和三个参数，即宽度，深度和分辨率。 模型的宽度是指各层中存在的通道数，深度是指模型中的层数，分辨率是指模型的输入图像大小。 他们声称，通过将所有这些参数保持较小，可以创建一种竞争性强但计算效率高的CNN模型。 另一方面，仅通过增加这些参数的值，就可以创建更好的高精度模型。代码：pytorch实现：import torchfrom torch import

1911_GhostNet:图：网络描述：本篇论文是发表于CVPR2020的一篇轻量级网络的论文，作者是华为诺亚方舟实验室，文章的总体思路比较清晰，为了减少网络计算量，作者将传统的卷积分成两步进行，首先利用较少的计算量通过传统的卷积生成channel较小的特征图，然后在此特征图的基础上，通过cheap operation(depthwise conv)再进一步利用较少的计算量，生成新的特征图，最后将两组特征图拼接到一起，得到最终的output，最终实验效果还不错，相同计算量的情况下比MobileNe

1903_SKNet:图：网络描述：SENet是对特征图的通道注意力机制的研究， CBAM 提到了对特征图空间注意力机制的研究。这里 SKNet 针对卷积核的注意力机制研究。==SKNet是SENet的加强版，结合了SE opetator, Merge-and-Run Mappings以及attention on inception block的产物。其最终提出的也是与SE类似的一个模块，名为SK, 可以自适应调节自身的感受野。==据作者说，该模块在超分辨率任务上有很大提升，并且论文中的实验也证实

1902_HR-Net:图：网络描述：在这篇论文中，我们主要研究人的姿态问题(human pose estimation problem)，着重于输出可靠的高分辨率表征(reliable highresolution representations)。现有的大多数方法都是从高分辨率到低分辨率网络(high-to-low resolution network)产生的低分辨率表征中恢复高分辨率表征。相反，我们提出的网络能在整个过程中都保持高分辨率的表征。我们从高分辨率子网络(high-resoluti

1712_ShffleNet:图：图.ShuffleNet Units （a）具有深度卷积（depthwise convolution）的瓶颈单元；（b）具有分组逐点卷积（GConv）和通道重排的ShuffleNet单元；（c）具有stride=2的ShuffleNet单元。网络描述：表中展示了整个ShuffleNet架构。该网络主要由一组分为三个阶段的ShuffleNet单元组成。每个阶段的第一个构建块使用stride=2。一个阶段中的其他超参数保持不变，下一个阶段的输出通道加倍。为每个Sh

18_CBAM Net:图：网络描述：CBAM表示卷积模块的注意力机制模块。是一种结合了空间（spatial）和通道（channel）的注意力机制模块，相比于senet只关注通道（channel）的注意力机制可以取得更好的效果。 作者提出了一个简单但有效的注意力模块 CBAM，给定一个中间特征图，我们沿着空间和通道两个维度依次推断出注意力权重，然后与原特征图相乘来对特征进行自适应调整。 由于 CBAM 是一个轻量级的通用模块，它可以无缝地集成到任何 CNN 架构中，额外开销忽略不计，并且可以与基

1711_CondenseNet图：网络描述：CondenseNet是作者在DenseNet基础上进行改进，集合了分组卷积、稠密连接、剪枝等。实验证明，CondenseNet比前沿的MobileNet和ShuffleNet性能更好。作者认为，DenseNet对特征的利用存在冗余，即每一层不必接收前面所有层的特征输出。为了降低这些冗余，作者提出了一种剪枝机制。之前的文章中，剪枝多是在网络训练之后，按照连接的权值大小或者其他连接重要性评估参数进行剪枝。==本文的剪枝采用了另外一种策略，即在训练的过程

今天

1709_SE Net:图：网络描述：Squeeze-and-Excitation Networks（简称 SENet）是 Momenta 胡杰团队（WMW）提出的新的网络结构，利用SENet，一举取得最后一届 ImageNet 2017 竞赛 Image Classification 任务的冠军，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。作者在文中将SENet block插入到现有的多种分类网络中，都取得了不错的效果。作者的动机是希望显式

1602_Squeeze Net图：网络描述：Squeeze Net 发表于ICLR-2017，作者分别来自Berkeley和Stanford，Squeeze Net不是模型压缩技术，而是 “design strategies for CNN architectures with few parameters” 。 Squeeze Net是Han等提出的一种轻量且高效的CNN模型，它参数比AlexNet少50x，但模型性能（accuracy）与AlexNet接近。SqueezeNet的核心在于Fi

2017_DenseNet_Facebook:图：trasition layer补充图网络描述：DenseNet让网络的每一层的输入变成所有前面层的叠加（concat），然后把它的特征图传递给所有接下来的网络层。transition layer,放在两个Dense Block中间,是因为每个Dense Block结束后的输出channel个数很多,需要用1*1的conv来降维。Densenet和其他网络对比与Inception系列和ResNet网络不通，Inception网络主要是从网络的

2017_Xception图：网络描述：Xception是谷歌公司继Inception后，提出的InceptionV3的一种改进模型，其改进的主要内容为采用depthwise separable convolution来替换原来Inception v3中的多尺寸卷积核特征响应操作。首先要讲一下什么是depthwise separable convolution：对于一个卷积点而言，假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32。具体为，32个3×3大小的卷积核会遍历16个通道中的每

2017_MobileNetV3_谷歌：图： MobileNetV3-Large和MobileNetV3-Small两种不同大小的网络结构网络描述：MobileNetV3 一种轻量级网络，它的参数量还是一如既往的小第一列Input代表mobilenetV3每个特征层的shape变化；第二列Operator代表每次特征层即将经历的block结构，我们可以看到在MobileNetV3中，特征提取经过了许多的bneck结构；第三、四列分别代表了bneck内逆残差结构上升后的通道数、输入到bne.

2017_MobileNetV2_谷歌：图：网络描述：MobileNet V2提出了 the inverted residual with linear bottleneck，线性瓶颈反残差结构。扩张（1x1 conv） -> 抽取特征（3x3 depthwise）-> 压缩（1x1 conv）特点，优点：（1）引入残差结构，先升维再降维，增强梯度的传播，显著减少推理期间所需的内存占用（2）去掉 Narrow layer（low dimension or depth） 后的

2017_MobileNetV1_谷歌：图：网络描述：depthwise convolution(卷积后通道数不改变): 对于128x128x512的特征图, 用512个3x3的卷积核分别对每个通道进行卷积， 得到了通道为512的特征图pointwise convolution：用n个1x1卷积，将上述通道数为512的特征图变为通道数为n的特征图。MobileNet的基本单元是深度级可分离卷积（depthwise separable convolution），其实这种结构之前已经被使用在Inc

2016_InceptionNet V4_谷歌：图：Inception-v4网络35×35网格的框架（对应图中Inception-A块）：Inception-v4网络17×17网格块的框架（对应图中Inception-B块）：Inception-v4网络的8×8网格模块的框架（对应图中Inception-C块）：35x35变为17x17模块，即Reduction-A ：17x17变为8x8模块，即Reduction-B ：网络描述：左图是基本的Inception v2/v3模块

2015_InceptionNet V3_谷歌：图：网络描述：Inception-V3模型是谷歌在大型图像数据库ImageNet 上训练好了一个图像分类模型，这个模型可以对1000种类别的图片进行图像分类。 Inception V3优化了Inception Module的结构，现在Inception Module有35´35、17´17和8´8三种不同结构，如图所示。这些Inception Module只在网络的后部出现，前部还是普通的卷积层。并且Inception V3除了在Inception M

2015_InceptionNet V2_谷歌：图：网络描述：Inception V2学习了VGGNet，用两个3´3的卷积代替5´5的大卷积（用以降低参数量并减轻过拟合），还提出了著名的Batch Normalization（以下简称BN）方法。BN是一个非常有效的正则化方法，可以让大型卷积网络的训练速度加快很多倍，同时收敛后的分类准确率也可以得到大幅提高。BN在用于神经网络某层时，会对每一个mini-batch数据的内部进行标准化（normalization）处理，使输出规范化到N(0,1)的

2014_Inception Net V1_谷歌：图：网络描述：Inception模型的主要贡献是提出了inception module，图（a）是作者提出的一个基本的Inception V1网络结构，其基本思想就是，对一个特征层分别使用不同大小卷积核进行卷积操作（包括1x1、3x3、5x5卷积层，和一个3x3的最大池化层），从而获得了不同感受野大小的特征层；最后通过一个concat堆叠，就得到了Inception V1的输出特征层； 图（b）是作者又提出的改进结构，改进的原因是由于Incept

2015_ResNet_何凯明：**图：​网络描述：ResNet的主要思想是在网络中增加了直连通道，即Highway Network的思想。此前的网络结构是性能输入做一个非线性变换，而Highway Network则允许保留之前网络层的一定比例的输出。第二幅图中这两种结构分别针对ResNet34（左图）和ResNet50/101/152（右图），一般称整个结构为一个”building block“。其中右图又称为”bottleneck design”，目的一目了然，就是为了降低参数的数目，第一

2014_VGG16_牛津**图：网络描述：VGG16总共有16层，13个卷积层和3个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复两次三个512个卷积核卷积后，再pooling，最后经过三次全连接。 输入图像尺寸224×224×3，进行第一个卷积之后得到224×224×64的特征图，接着还有一层224×224×64，得到这样2个厚度为64的卷积层，意味着我们用64个过滤器进行了两次卷积。这里采用的都是大小为3×

2012_Alex-Net图：网络结构：网络总共的层数为8层，5层卷积，3层全连接层。第一层：卷积层1，输入为 224×224×3224\times224\times3224×224×3，卷积核的数量为96，论文中两片GPU分别计算48个核; 第二层：卷积层2, 输入为上一层卷积的feature map， 卷积的个数为256个，论文中的两个GPU分别有128个卷积核。第三层：卷积层3, 输入为第二层的输出，卷积核个数为384, kernel_size = 3×3)；第四层：卷积4, 输入为第三层的

将总结的一些神经网络记录，复习1998_Le-net图：网络描述：LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识别的视觉任务。自那时起，CNN的最基本的架构就定下来了：卷积层、池化层、全连接层。如今各大深度学习框架中所使用的LeNet都是简化改进过的LeNet-5（-5表示具有5个层），和原始的LeNet有些许不同，比如把激活函数改为了现在很常用的ReLu。它是一个6层网络结构：由三个卷积层，两个下采样层和一个全连接层组成（图中C代表卷积层，S代表下采样层，F代表

MATLAB实现BP神经网络预测汽油辛烷值