Joe的博客

原文地址:http://blog.youkuaiyun.com/stdcoutzyx/article/details/49022443理解dropout开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀

1. Denoising Autoencoder在神经网络模型训练阶段开始前，通过Autoencoder对模型进行预训练可确定编码器WW的初始参数值。然而，受模型复杂度、训练集数据量以及数据噪音等问题的影响，通过Autoencoder得到的初始模型往往存在过拟合的风险。关于Autoencoder的介绍请参考：自动编码器（Autoencoder）。在介绍Denoising Autoencoder（降噪

前馈神经网络与反向传播算法（推导过程）

autoencoder是一种无监督的学习算法。在深度学习中，autoencoder用于在训练阶段开始前，确定权重矩阵WW的初始值。神经网络中的权重矩阵WW可看作是对输入的数据进行特征转换，即先将数据编码为另一种形式，然后在此基础上进行一系列学习。然而，在对权重初始化时，我们并不知道初始的权重值在训练时会起到怎样的作用，也不知道在训练过程中权重会怎样的变化。因此一种较好的思

1. SGDBatch Gradient Descent在每一轮的训练过程中，Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度，并用该梯度对模型参数进行更新：Θ=Θ−α⋅▽ΘJ(Θ)\Theta = \Theta -\alpha \cdot \triangledown_\Theta J(\Theta )优点:cost fuction若为凸函数，能

1. 循环神经网络①基本结构在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN(Recurrent Neuron Network)是一种对序列数据建模的神经网络，即一个序列当前的输出与前

1. 简介首先简要介绍一下生成模型（Generative model）与判别模型（Discriminative mode）的概念：生成模型：对联合概率进行建模，从统计的角度表示数据的分布情况，刻画数据是如何生成的，收敛速度快，例如朴素贝叶斯，GDA，HMM等。判别模型：对条件概率P(Y|X)P(Y|X)进行建模，不关心数据如何生成，主要是寻找不同类别之间的最优分类面，例如LR，SVM等

1. CNN的起源1962年，Hubel和Wiesel等通过对猫的大脑视觉皮层系统的研究，提出了感受野的概念，并进一步发现了视觉皮层通路中对于信息的分层处理机制，由此获得了诺贝尔生理学或医学奖。Hubel DH, Wiesel TN. Receptive fields, binocular interaction and functional architecture in the ca