alex1801

1、经典分类网络1、LeNet结构解析2、AlexNet论文翻译、AlexNet论文总结与实现3、VGG论文翻译、VGGNet总结及启发

信息论交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。1、信息量首先是信息量。假设我们听到了两件事，分别如下：事件A：巴西队进入了2018世界杯决赛圈。事件B：中国队进入了2018世界杯决赛圈。仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事...

安装：sudo apt-get install rapidsvn # 安装svn

ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design论文链接：https://arxiv.org/abs/1807.11164转自：https://www.pianshen.com/article/7910605895/，声明：文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！1、导语神经网络架构的设计目前主要由计算复杂度的间接指标（即 FLOPs）来指导。但是，直接指标（如速度）还依赖

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 2017年原文地...

Searching for MobileNetV3-2019年原文地址：https://arxiv.org/pdf/1905.02244.pdf摘要我们展示了基于互补搜索技术和新颖架构设计相结合的下一代MobileNets。MobileNetV3通过结合硬件感知网络架构搜索(NAS)和NetAdapt算法对移动电话cpu进行调优，然后通过新的架构改进对其进行改进。本文开始探索自动化搜索算法和网络设计如何协同工作，利用互补的方法来提高整体水平。通过这个过程，我们创建了两个新的发布的Mobile..

Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation 2018年原文地址：MobileNetV21、摘要本文提出了一种新的移动架构MobileNetv2，改善了多个任务和基准的State-of-the-art水平。同时我们介绍了一种基于此框架的面向目标检测任务的有效应用模型SSDLite。此外，我们介绍了简化移动语义分割模型DeepLabv

Xception: Deep Learning with Depthwise Separable Convolutions原文地址：Xception1、摘要我们将卷积神经网络中的Inception模块解释为是常规卷积和深度可分离卷积操作（深度卷积然后是逐点卷积）之间的中间步骤。因此，可以将深度方向上可分离的卷积理解为具有最大数量的tower的Inception模块。这一发现使我们提出了一种受Inception启发的新颖的深度卷积神经网络体系结构，其中Inception模块已被深度可分离卷积替代。

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications原文地址：MobileNetV11、摘要MobileNets是为移动和嵌入式设备提出的高效模型。MobileNets基于流线型架构(streamlined)，使用深度可分离卷积(depth wise separable convolutions，即Xception变体结构)来构建轻量级深度神经网络。论文介绍了两个简单的全局超参数，

根据原作者翻译，进行部分修改、添加，以方便查阅。文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！转自：https://blog.youkuaiyun.com/u013044310/article/details/80188530论文地址：aqueezenet论文SQUEEZENET: ALEXNET-级别精度50X 较少的参数和 < 0.5MB模型大小摘要深卷积神经网络 (CNNs) 最近的研究主要集中在提高精度。对于给定的精度级别, 通常可以确定多个 CNN 体系结构, 以达到该精

声明：文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！在正则化方法中，Dropout 是非常有用和成功的一种技术，能够有效控制过拟合（overfitting）Definitely问题。一般来说，Dropout 会随机删除一些神经元，以在不同批量上训练不同的神经网络架构。Bagging 是通过结合多个模型降低泛化误差的技术，主要的做法是分别训练几个不同的模型，然后让所有模型表决测试样例的输出。而 Dropout 可以被认为是集成了大量深层神经网络的 Bagging 方法，因此它提供了一种廉价的

Batch Normalization视神经网络的经典结构，本文对BN的引入，训练、推理过程及BN的特性，进行整理。1、 数据预算处理（Data Preprocessing）为什么输入数据需要归一化（Normalized Data）归一化后有什么好处呢？原因在于：1）神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；2）另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不.

声明：文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！摘要训练深度神经网络的复杂性在于，每层输入的分布在训练过程中会发生变化，因为前面的层的参数会发生变化。通过要求较低的学习率和仔细的参数初始化减慢了训练，并且使具有饱和非线性的模型训练起来非常困难。我们将这种现象称为内部协变量转移，并通过标准化层输入来解决这个问题。我们的方法力图使标准化成为模型架构的一部分，并为每个训练小批量数据执行标准化。批标准化使我们能够使用更高的学习率，并且不用太注意初始化。它也作为一个正则化项，在某些情况下不需要

关于神经网络的优化，吴恩达的深度学习课程讲解得非常通俗易懂，有需要的可以去学习一下，本人只是对课程知识点做一个总结。吴恩达的深度学习课程放在了网易云课堂上，链接如下（免费）：https://mooc.study.163.com/smartSpec/detail/1001319001.htm神经网络最基本的优化算法是反向传播算法加上梯度下降法。通过梯度下降法，使得网络参数不断收敛到全局（或者局部）最小值，但是由于神经网络层数太多，需要通过反向传播算法，把误差一层一层地从输出传播到输入，逐层地更新网络参

梯度消失爆炸的解决方案主要包括以下几个部分。- 预训练加微调- 梯度剪切、权重正则（针对梯度爆炸）- 使用不同的激活函数- 使用batchnorm- 使用残差结构1、预训练加微调此方法来自Hinton在2006年发表的一篇论文，Hinton为了解决梯度的问题，提出采取无监督逐层训练方法，其基本思想是每次训练一层隐节点，训练时将上一层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入，此过程就是逐层“预训练”（pre-training）；在预训练完成后，再对整个网络进行

网上有很多关于梯度消失-爆炸这方面的文章，相似的也比较多，最近对不同文章进行整理，修改部分文章公式错误，形成整理。1、概念目前优化神经网络的方法都是基于BP，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助，因此反向传播算法可以说是梯度下降在链式法则中的应用。而链式法则是一个连乘的形式，所以当层数越深的时候，梯度将以指数形式传播。梯度消失问题和梯度爆炸问题一般随着网络层数的增加会变得越来越明显。在

SENet最后一届 ImageNet 2017 竞赛 Image Classification 任务的冠军，也是目前细粒度分类任务的必选基础网络。CNN是通过用局部感受野，基于逐通道基础上，去融合空间信息来提取信息化的特征，对于图像这种数据来说很成功。为了增强CNN模型的表征能力，许多现有的工作主要用在增强空间编码上，比如ResNet，DenseNet。SENet则主要关注通道上可做点，通过显示的对卷积层特征之间的通道相关性进行建模来提升模型的表征能力；并以此提出了特征重校准机制：通过使用全局信息去选择

论文地址：Densely Connected Convolutional Networks文章是CVPR2017的oral。论文中提出的DenseNet主要还是和ResNet及Inception网络做对比，思想上有借鉴，但却是全新的结构，网络结构并不复杂，却非常有效，在CIFAR指标上全面超越ResNet。DenseNet论文中本身引入太多公式，所以仅对其进行总结。作者则是从feature入手，通过对feature的极致利用达到更好的效果和更少的参数。下图是DenseNet的主体框架（在每个Dens

1、Inception总览Inception v1网络多尺度特征利用，增加网络宽度。将1x1、3x3、5x5的conv和3x3的pooling，stack在一起，一方面增加了网络的width，另一方面增加了网络对尺度的适应性；Inception v2在v1的基础上，一方面了加入了BN层，另外一方面学习VGG用2个3x3的conv替代inception模块中的5x5，既降低了参数数量，也加速计算；Inception v3一个最重要的是改进卷积分解（Factorization），将7x7分解成两个一

声明：文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！1、特点-加入BN加入BN后带来的收益：1）神经网络的训练是复杂的，训练时，每一层的输入分布都会随着前一层参数变化而改变。这个现象称为内部协变量位移，并通过规范化层解决这个问题；2）加入BN，实现同样精度，训练步骤减少了14倍。2、出发点2.1、mini-batch SGD优缺点论文首先指出了mini-batch SGD的好处：1）batch越大，效果越好；2）m个样本并行计算，要比m个样本单独计算，效率要高

声明：文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！1、简介与VGG同年，google也独立在深度网络的深度方向及多尺度方面进行了研究。该结构充分利用了网络结构中子网络的计算，在设计过程中，受到了多尺度处理的启发。GoogLeNet的参数量相比AlexNet要少很多，是AlexNet参数的1/12。2、研究动机针对之前的网络结构(ALeNet)设计，主要存在几个方面的缺点：1、参数太多，模型的熵容量太大，容易导致过拟合，尤其对于比较小的数据集；2、网络越大，计算复杂度也就

1、问题引入随着网络的加深，出现了训练集准确率下降的现象，我们可以确定这不是由于Overfit过拟合造成的(过拟合的情况训练集应该准确率很高)；所以作者针对这个问题提出了一种全新的网络，叫深度残差网络，它允许网络尽可能的加深。残差指的是什么？其中ResNet提出了两种mapping：一种是identity mapping，指的就是图1中”弯弯的曲线”，另一种residual mapping，指的就是除了”弯弯的曲线“那部分，所以最后的输出是 [Math Processing Error]，y=F

声明：文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！Deep Residual Learning for Image Recognition摘要更深的神经网络更难训练。我们提出了一种残差学习框架来减轻网络训练，这些网络比以前使用的网络更深。我们明确地将层变为学习关于层输入的残差函数，而不是学习未参考的函数。我们提供了全面的经验证据说明这些残差网络很容易优化，并可以显著增加深度来提高准确性。在ImageNet数据集上我们评估了深度高达152层的残差网络——比VGG[40]深8倍但.

2014年提出VGG-Net网络。研究了卷积网络深度对大尺度图像识别精度的影响，更深的网络能提高性能。之前的改进：更小的接受窗口、较小的步幅。ImageNet Challenge2014定位和分类过程中分别获得了第一名和第二名。1、特性/贡献1、相比AlexNet及13年方法，使用了更小的感受窗口尺寸和更小的第一卷积层步长，将深度推到16-19加权层可以实现对现有技术配置的显著改进；2、相比AlexNet及13年方法，在整个图像和多个尺度上对网络进行密集地训练和测试（之前是单个尺度剪裁）；.

Very Deep Convolutional Networks for Large-Scale Image Recognition摘要在这项工作中，我们研究了卷积网络深度在大规模的图像识别环境下对准确性的影响。我们的主要贡献是使用非常小的（3×3）卷积滤波器架构对网络深度的增加进行了全面评估，这表明通过将深度推到16-19加权层可以实现对现有技术配置的显著改进。这些发现是我们的ImageNet Challenge 2014提交的基础，我们的团队在定位和分类过程中分别获得了第一名和第二名。我们还表明

ImageNet Classification with Deep Convolutional Neural Networks文章虽然发表在12年，但文章中提到的Relu、Dropput，momentum、数据增广方式、10 paths测试法以及作者认为深度是非常重要的，这些都是现在神经网络的基础。很值得仔细阅读和理解，经典文章读多少遍都过分。1、特性/贡献发表于2012年，在ImageNet测试数据上，我们得到了top-1 37.5%, top-5 17.0%的错误率，赢得了冠军并且与第二

ImageNet Classification with Deep Convolutional Neural Networks-2012论文地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks摘要我们训练了一个大型深度卷积神经网络来将ImageNet LSVRC-2010竞赛的120万高分辨率的图像分到1000不同的类别中。在测试数据上，我们得到了to

LeNet诞生于1998年，网络结构比较完整，包括卷积层、pooling层、全连接层。被认为是CNN的鼻祖，LeNet结构如下：输入：32*32大小的原图；1）6个5*5的核卷积，得到28*28*6的特征图，pooling：2*2的核，步长为2，结果为14*14*6的特征图；2）16个5*5*6的核卷积，得到10*10*16的图，pooling:2*2的核，步长为2，结果为5...