BP神经网络（全连接神经网络）

神经网络的分类

  BP神经网络是传统的神经网络，只有输入层、隐藏层、输出层，其中隐藏层的层数根据需要而定。而这种网络训练复杂度太高，于是有了新的多层神经网络（深度学习），如CNN（卷积神经网络）、RNN（循环神经网络），多了卷积层、降维层等等，训练方式也改变了。
  这些网络都是机器学习的一种。机器学习方法是计算机利用已有的数据，得出了某种模型，并利用此模型预测未来的一种方法。
  本文主要介绍BP神经网络。

感知机

  感知机通过一些二进制的输入x1，x2，…，代表不的影响决策的因素，然后产生一个二进制的输出：

  用权重w1，w2…来表示各个输入对输出的重要性。神经元的输出，要么是0要么是1，由权重和w1x1+w2x2+w3x3+…的值是否小于或者大于某一阈值b来确定。感知机网络如下，左侧为输入层；中间为隐藏层,隐藏层的每一个感知机都通过权衡第一层的输出结果作为输入，这样以来第二层的感知机可以比第一层做出更加复杂和抽象的决策，更复杂的决策可以在第三层做出；右侧为输出层,输出层的维度为分类的类别个数。