咖啡男孩之SRE之路

反向传播公式推导以及数字识别案例

优化问题一：训练缓慢假设现在有个仅1个input节点和1个output节点的网络，x的输入为1，输出为0，要用sigmoid训练出w和b假设初始的w=2 b=2结果为0.98，离我们的训练目标0还有非常大非常大的距离，按照人类的学习经验当错误越明显时人进步的程度越大，但是我们的训练周期内结果从0.98到0表现出来的效果是这样子的：可见在开始的100次迭代中虽然错误很明显，但是学习的成果微乎其微，这...

前一篇手写识别的博文《深度学习数学基础—反向传播》中已经简单分析和推导过反向传播的原理，但是基于特定的场景给出的推导过程，现在我们再来系统的加深下神经网络反向传播的算法理解。首先定义几个变量。我们用来表示(l-1)层第k节点到l层第j节点的权重w例如：我们用来表示l层第j节点的偏差b，用来表示l层j节点所受到的总影响。例如：可以分析得

本文介绍了GPU与CPU的区别、Theano的使用，最后对卷积网络进行了详细的解释和案例分析。

神经网络可以计算什么样的函数? 答案是任何函数。本文将用图像来证明神经网络可以模拟任何的空间上的坐标，而且网络节点越多，精度越高。简单的网络层是，更方便我们对普遍性可以模拟任何函数这一论点进行证明，但是实际应用中越深度（隐藏层越多）的网络越有助于解决真正的现实问题。

激活函数的选择、权重的初始化方式会影响到多层神经网络的学习速度。越靠近input层，训练的速度越慢，也就是说靠近input层的提高对整个网络的影响微乎其微，这就是消失的梯度问题。