清风吹斜阳

神经网络训练细节part2上 参数更新机制 SGD Momentum update Nesterov Momentum update AdaGrad update RMSProp update Adam update SGD 随机梯度下降： x += - learning_rate * dx 特点：如果在水平方向上梯度较小，而在垂直方向上梯度较大，会造成在水平方向更新较慢，而...

神经网络训练细节part2下 集成模型 dropout 集成模型 训练：单独训练多个模型 测试：采用多个模型的测试结果均值做为结果 可以提升2%。 单模型：在训练过程中设置检查点，然后验证验证集中的数据。 集成模型：在不同的模型中分贝设置检查点，然后用每个模型对验证集中的数据结果得到的均值作为验证结果。 dropout 随机失活：在前向传播和反向传播过程中，随机地使网络中的神经元...

神经网络训练细节part1上 训练过程 激活函数 数据预处理 训练过程 取一个batch数据 将数据延着网络前向传播，计算每个单元的输出和损失 将梯度依据链式法则延网络反向传播 根据梯度更新参数 激活函数 Sigmoid tanh ReLU Leaky ReLU PReLU Maxout ELU Sigmoid （挤压函数）函数图像： 特点：...

卷积神经网络详解上 卷积层：分别表示数据的宽、高、深度 卷积：输入数据大小：，滤波器大小：。滤波器与输入数据在左上角对齐，从该位置依次从左向右，从上到下滑动滤波器，滑动步伐为stride，滤波器与其覆盖的数据的对应位置相乘然后加和，在加上偏置，得到该位置的激活反应，对整个图像的卷积得到一个激活映射。如果D1=D2，滤波器直接按上述卷积，一般D1=D2。如果，假设D1=3,D2=1,让滤波器分别...

卷积神经网络详解下 LeNet-5 AlexNet ZFNet VGGNet GoogLeNet ResNet LeNet-5 LeNet-5的结构是卷积-池化-卷积-池化-全连接层。 AlexNet AlexNet：最后的1000个神经元对应1000种分类。 AlexNet第一次使用了ReLU，使用了现在不常用的规范化，对数据进行了数据增强，在全连接层使用了dropo...

神经网络训练细节part1下 权值初始化 批数据规范化Batch Normalization 超参数优化 权值初始化 （1）高斯随机数乘0.01 w = 0.01*np.random.randn(fan_in,fan_out) 特点：在层数较少的网络中效果较好，但在随着网络层数增多会出现梯度消失。 在上图的网络中，反向传播，求W1的导数， 由于网络...

迁移学习之物体定位与检测上 分类和定位 分类：给定一个图像，输入图像包含的对象的类别。 定位：给定一个图像，找到图像中对象所在的区域，即找出边界框。 数据集：一千个类别，每个类别有800张图像。 网络结构如上图，定位和分类可以同时训练也可以分别训练。 方法一：当做回归问题求解 分类是一个回归问题，可以将定位也当成回归问题，定位及找到对象所在边界框，边界框为方形，所以确定边界框的左...

迁移学习之物体定位与检测下 目标检测 当输入一张图片，图片包含几个类别的几个对象，需要找到每个对象的边界框。如下图： 能否将目标检测当成回归问题？对于不同的图片输出的多个对象的边界框，可能输出4个边界框也可能输出8个边界框，输出的数量不固定，所以无法当成是回归问题。 将其当做分类问题：把图片的一部分输入到CNN中，对其进行分类和定位。比如 输入的大小是怎么确定的？将其从小到大全部...

循环神经网络 循环神经网络：Recurrent Nerual Network，简称RNN。 RNN可以有很多种结构，包括一对一的Vanilla网络，一对多的图像字幕，多对一的情感分类（处理一定数量的按顺序排列的词，然后试着把句子里的词，按正面和负面情感分类），多对多的机器翻译（将一个序列翻译成另一个序列）、视频分类。 RNN例子 RN有其自己内部的状态，但是在每个时间点接收内容，...