TensorFlow入门-09.感知机与多层网络

感知机：单层神经网络，没有隐藏层。

问题：不能解决异或问题。

多层网络：具有解决异或问题的能力。

多层网络解决问题的原理：深层神经网络实际上有组合特征提取的功能。这个特性对于解决不易提取特征向量的问题（比如图像识别、语音识别等）有很大的帮助。这也是深度学习在这些问题上更容易取得突破性进展的原因。

注意：以下两个样例的激活函数均为非线性函数

未加入隐藏层的神经网络的分类效果：

 

加入了一个含四个神经元的隐藏层之后的分类效果：

小结：

经过修改神经网络的层数，隐藏层神经元个数，激活函数。我们发现：

1.解决异或问题的基本配置是一个含4个神经元的隐藏层，且激活函数为非线性函数的神经网络。

2.隐藏层的层数可以增加，在该样例中对分类的影响不大。

3.若设置的隐藏层数为1，那么该隐藏层中的神经元数量应大于等于特征矩阵维度的维度次方。这样方便在隐藏层实现对特征的组合。（作者未推导，仅是猜想）