麓山coder

BP神经网络理论推导一、 神经网络简介神经元细胞在19世纪，人们发现了人脑神经细胞传导兴奋的规律，计算机科学家们由此受到启发，提出来人工神经网络，希望用这个模型来模拟人脑。神经元细胞有几个重要组成：轴突，树突，细胞体。轴突能将神经元的兴奋传递给其连接的神经元，而树突能够接收其他神经元传递过来的兴奋。神经元细胞根据接收到的兴奋决定是否将兴奋传递给下一个神经元细胞。神经元模型将神经元细胞抽象为数学

自编码器对于深层的前馈神经网络，如果使用误差逆传播算法进行训练，将会出现三大问题： 1. 神经网络参数数量巨大，极易导致过拟合。 2. 网络底层的权值难以变化，出现梯度弥散现象。 3. 深度神经网络的损失函数为非凸函数，如果随机初始化参数会使优化过程陷入局部极直。自编码器可以用三层前馈神经网络实现。采用无监督学习方式，可以使用大量的无标记样本进行学习。 如上图所示，三层前馈神经网络的输入等于