反向传播算法的工作原理 ---1

1-1 使用矩阵快速计算输出

       讨论反向传播前，首先介绍一下如何通过基于矩阵的算法来计算神经网络的输出。以便于在熟悉的场景中理解反向传播中使用矩阵表示。

        首先给出神经网络中权重的清晰定义。 表示在第 （） 层的第  个神经元到第 层第 个神经元的连接的权重。图 1-1 给出了神经网络中第 2 层的第 4 个神经元到第 3 层的第 2 个神经元的连接的权重。

图·1-1

        这样的表示粗看上去比较奇怪，需要花一点时间消化。稍后你会发现这种表示方便且自然。下标  和  的顺序可能会引起困惑，有人觉得反过来更合理。下面介绍这样做的原因。

        神经网络的偏置和激活值也使用类似的表示，用  表示第  层第  个神经元的偏置，用  表示第  层第  个神经元的激活值。图1-2清晰地表示了这种表示的含义。

图·1-2

        有了这些表示，第  层第  个神经元的激活值  就和第  层的激活值通过方程关联起来了。

                                                 (23)

其中求和是对第  层的所有  个神经元进行的。为了以矩阵的形式重写该表达式，我们对层  定义一个权重矩阵  ， 的元素是正连接到第  层神经元的权重，更确切地说，第  行第  列的元素是  。类似地，对层  定义一个偏置向量  。由此可推导出偏置向量的分量其实就是前面给出的 ，每个元素对应第  层的每个神经元。然后定义激活向量 ，其分量是激活值  。

        最后需要引入向量化函数（比如 ）来按照矩阵形式重写方程(23)。向量化其含义就是对向量  中的每个元素应用函数（比如 ）。我们使用  来表示按元素应用函数。所以，  的每个元素满足  。如果函数是 ，那么向量化的  作用如下：

                                                   (24)

也就是说，向量化  仅对向量的每个元素进行平方运算。

        有了上述表示，方程(23)就可以写成简洁的向量形式，如下表示：

                                                   (25)

        该表达式让我们能够以全局视角考虑每层的激活值和前一层激活值的关联方式：我们仅仅把权重矩阵应用于激活值，然后加上一个偏置向量，最后应用 sigmoid函数。这种全局视角比神经元层面的视角更简洁。这样做既保证了清晰表达，又避免了使用下标，在实践中，表达式同样有用，因为大多数矩阵库提供了实现矩阵乘法、向量加法和向量化的快捷方法。

        在使用方程(25)计算  的过程中，我们计算了中间量  。这个中间量其实非常有用：我们将  称作第  层神经元的带权输入，在下一篇博客我们会深入研究。方程(25)有时会写成带权输入的形式： 。此外， 的分量为  ，其实 就是第  层第  个神经元的激活函数的带权输入。