YB菜菜的机器学习自学之路（六）——初步了解简单的神经网络模型（隐藏层）

前提说明

在先前的模型分类中，可以用单调的函数就能够表示（或，单一神经元模型），如图1所示。

图1

实际上，随着种类的增多，数据的模型变得复杂，如图2，此时理论上我们要的得到的模型应该是一个有低有高的曲线，即预测模型将不再是单调函数。而单一的激活函数中，函数曲线始终保持单调，这是无法满足需求的。

图2
因此需要多增加新的神经元，使得模型形成一个神经网络，来实现这种非单调的预测模型。
这里以图2为输入数据，通过增加2个神经元获得一个先单调声再单调减的预测模型来了解神经网络模型以及相关的概念。

1.神经网络模型

1.1 三神经元构成的神经网络案例

图3

为了实现图2中的数据预测模型，我们使用图3的神经网络架构。如图3，相比之前的模型增加了2个额外的神经元从而形成一个网络,使得达到想要的预测模型。

将三个神经元分成2层，对于第一层中的每个神经元（1_1和1_2）,先通过线性函数计算再通过激活函数得到输出，利用梯度下降算法，那么第一层的神经元的输出一定可以形成单调曲线，如图3中的$a_{1\_1}$和 a 1 _ 2 a_{1\_2}