yeler082的博客

一、卷积相关1、靠近数据层的卷积的数量一般会比后面卷积层的输出要少，例子vgg16后面的conv层输出通道比刚开始要多2、在输入的图像分辨率较低时，不宜使用跨度太大的stride_size。3、卷积层可以很好的保留位置信息，如果要做位置信息的提取，那么可以从这个层中提取出来。4、卷积层之间最好是加入激活层，引入非线性特性。而且应该避免连续使用好几个卷积层。5、对于一些检测任务，...

主要贡献：AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。（2）训练时使用Dr...

LRN首次是在2012的AlexNet当中使用，其中的意图是对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。下面是AlexNet论文中提及到的LRN简要解释一下论文内容：relus激活函数本身具有良好的特性，在输入的时候可能不需要归一化就能防止网络饱和，即网络可以连续训练下去。对于relus激活函数来讲，如果存在...

神经网络实现猫的种类识别代码地址：https://github.com/yeLer/cat_kind实现的主要部分有简单的网络结构在猫的种类识别上的应用，测试准确率0.832使用resNet50在猫的种类识别上的应用，测试准确率0.866使用数据增强解决过拟合问题，并提高测试准确率，测试准确率0.999项目文件夹说明------cat_kind 项目文件名 |---...

神经网络当中使用的卷积类型很多，主要有以下几种：1 任意填充无跨度卷积（arbitrary_padding_no_strides）    2 任意填充无跨度转置卷积（arbitrary_padding_no_strides_transposed） 3 扩张卷积（dilation）4 全填充无跨度卷积（full_padding_no_strides）...

1 典型CNN模型 LeNet，这是最早用于数字识别的CNN AlexNet，2012 ILSVRC比赛远超第2名的CNN，比LeNet更深，用多层小卷积层叠加替换单大卷积层。 ZF Net，2013 ILSVRC比赛冠军 GoogLeNet，2014 ILSVRC比赛冠军 VGGNet，2014 ILSVRC比赛中的模型，图像识别略差于GoogLeNet，但是在很多图像转化学习问...

论文：Xception: Deep Learning with Depthwise Separable Convolutions论文链接：https://arxiv.org/abs/1610.02357算法详解：Xception是google继Inception后提出的对Inception v3的另一种改进，主要是采用depthwise separable convolutio...

论文地址：ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks1. 引言：　　本文尝试用 基于四个方向的 RNN 来替换掉 CNN中的 convolutional layer（即：卷积+Pooling 的组合）。通过在前一层的 feature 上进行四个方向的扫描，完成特征学习的过程。与...