BigCowPeking

转载：http://blog.youkuaiyun.com/dzkd1768/article/details/72763659个卷积神经网络的基本构成一般有卷积层（convolutional layer）、池化层（pooling layer）、全连接层（fully connection layer）。本文以caffe中的LeNet-5为例，分析卷积层和全连接层的参数数量和计算量情况。卷积层的基本原理就是图像的...

1.LeNet-5—-1998LeNet-5是卷积网络的开上鼻祖，它是用来识别手写邮政编码的，论文可以参考Haffner. Gradient-based learning applied to document recognition.大名鼎鼎的LeNet5诞生于1994年，是最早的深层卷积神经网络之一，并且推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann LeC...

作者：灰灰链接：https://www.zhihu.com/question/64494691/answer/271335912来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。一方面: ResNet解决的不是梯度弥散或爆炸问题，kaiming的论文中也说了:臭名昭著的梯度弥散/爆炸问题已经很大程度上被normalized initialization and int...

一、残差神经网络——ResNet的综述深度学习网络的深度对最后的分类和识别的效果有着很大的影响，所以正常想法就是能把网络设计的越深越好，但是事实上却不是这样，常规的网络的堆叠（plain network）在网络很深的时候，效果却越来越差了。其中原因之一即是网络越深，梯度消失的现象就越来越明显，网络的训练效果也不会很好。 但是现在浅层的网络（shallower network）又无法明显提升网络的识...

这篇博客讲现在很流行的两种网络模型，ResNet和DenseNet,其实可以把DenseNet看做是ResNet的特例 文章地址: [1]Deep Residual Learning for Image Recognition,CVPR2015 [2]Densely Connected Convolutional Networks,CVPR2016本篇博客不讲论文的内容，只讲主要思想和我自己的理解...

 1. Inception-v3 （Dec，2015） 2. ResNet（Dec，2015） 3. nception-v4（Aug，2016） 4. Dual-Path-Net （Aug，2017） 5. Dense-net（Aug，2017） 6. SEnet（Sep，2017） 7.Wide Residual Networks（Jun 2017）Inception V3（还有 V2） Chr...

转自：http://blog.youkuaiyun.com/cv_family_z/article/details/50328175CVPR2016 https://github.com/KaimingHe/deep-residual-networks这是微软方面的最新研究成果， 在第六届ImageNet年度图像识别测试中，微软研究院的计算机图像识别系统在几个类别的测试中获得第一名。本文是解决超深度CNN网络...

Inception v1的网络，主要提出了Inceptionmodule结构（1*1，3*3，5*5的conv和3*3的pooling组合在一起），最大的亮点就是从NIN（Network in Network）中引入了1*1 conv，结构如下图所示，代表作GoogleNet假设previous layer的大小为28*28*192，则，a的weights大小，1*1*192*64+3*3*192...

一、梯度消失/梯度爆炸的问题首先来说说梯度消失问题产生的原因吧，虽然是已经被各大牛说烂的东西。不如先看一个简单的网络结构， 可以看到，如果输出层的值仅是输入层的值与权值矩阵W的线性组合，那么最终网络最终的输出会变成输入数据的线性组合。这样很明显没有办法模拟出非线性的情况。记得神经网络是可以拟合任意函数的。好了，既然需要非线性函数，那干脆加上非线性变换就好了。一般会使用sigmoid函数，得到，这个...

Deep Residual Learning for Image Recognition1. 思想作者根据输入将层表示为学习残差函数。实验表明，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加网络深度，来提高网络性能。作者在ImageNet上实验了一个152层的残差网络，比VGG深8倍，取得了3.57%的错误率。作者通...

1：AlexNet  在这里写链接内容网络中将该模型画出来：  AlexNet相比LeNet主要的改动在于： (1) Data Augmentation数据增长，现在的网络中已经大量使用了。最主要的是剪裁，光照变换和水平翻转。 (2) Dropout Dropout方法和数据增强一样，都是防止过拟合的。Dropout应该算是AlexNet中一个很大的创新，以至于Hinton在后来很长一段时间里的T...

论文代码链接：https://github.com/hujie-frank/SENethttps://github.com/binLearning/caffe_toolkit下面我将介绍我们提出的 SENet，论文和代码会在近期公布在 arXiv 上，欢迎大家 follow 我们的工作，并给出宝贵的建议和意见。 我们从最基本的卷积操作开始说起。近些年来，卷积神经网络在很多领域上都取得了巨大的突破。...

MobileNet V2网络结构理解    和MobileNet V1相比，MobileNet V2主要的改进有两点：1、Linear Bottlenecks。也就是去掉了小维度输出层后面的非线性激活层，保留更多的特征信息，目的是为了保证模型的表达能力。2、Inverted Residual block。该结构和传统residual block中维度先缩减再扩增正好相反，因此shotcut也就变成...

ShuffleNet算法详解：     ShuffleNet是Face++的一篇关于降低深度网络计算量的论文，号称是可以在移动设备上运行的深度网络。这篇文章可以和MobileNet、Xception和ResNeXt结合来看，因为有类似的思想。卷积的group操作从AlexNet就已经有了，当时主要是解决模型在双GPU上的训练。ResNeXt借鉴了这种group操作改进了原本的ResNet。Mobi...

ResNext论文理解：原理非常简单，一张图即可搞明白，其实就是增加了group conv的技巧：    提出来 cardinality 的概念，在上图左右有相同的参数个数，其中左边是 ResNet 的一个区块，右边的 ResNeXt 中每个分支一模一样，分支的个数就是 cardinality。此处借鉴了 GoogLeNet 的 split-transform-merge，和 VGG/ResNet...

模型优化：BatchNorm合并到卷积中

Resnet 网络结构：layer { name: "res2c" type: "Eltwise" bottom: "res2b" bottom: "res2c_branch2c" top: "res2c"}layer { name: "res2c_relu" type: "ReLU" bottom: "res2c&q