CaraYQ的博客

图3-2将x1、x2、1三个信号作为神经元的输入，将其和各自的权重相乘后，传送至下一个神经元。如果这个总和超过0，则输出1，否则输出0，我们用一个函数来表示这种分情况的动作，引入新函数h(x)，将式（3.1）改写成下面的式（3.2）和式（3.3）。如图3-4所示，表示神经元的○中明确显示了激活函数的计算过程，即信号的加权总和为神经元a，然后神经元a被激活函数h()转换成神经元y。刚才登场的h（x）函数会将输入信号的总和转换为输出信号，这种函数一般称为激活函数，用于决定如何来激活输入信号的总和。

如式（1.11）所示，z关于x的导数由y=f（x）的导数和z=g（y）的导数之积求得，这就是链式法则。也就是说，只要能够计算各个函数的局部的导数，就能基于它们的积计算最终的整体的导数。用相应的神经网络来说明链式法则之所以可以实现反向传播就在于：无论我们处理的神经网络有多复杂（无论有多少层），都可以根据它们各自的梯度（的乘积）来计算输出层的梯度。这里我们想得到的是损失关于各个参数的梯度。根据刚才复习的链式法则，反向传播中流动的导数的值是根据从上游（输出侧）传来的导数和各个运算节点的局部导数之积求得的。