26、深度架构下的前馈神经网络：原理、特性与应用

深度架构下的前馈神经网络：原理、特性与应用

1. 有向图与前馈网络

在神经网络的构建中，经典的线性阈值单元（LTU）计算模型促使我们超越单一单元的限制。将这些单元视为图的顶点，可实现集体计算。而基于LTU构建的一致计算机制，必然依赖于有向无环图（DAG）。

有向无环图是一种不包含有向环的有向图。如图1所示，左侧的循环图因神经元4的排序冲突导致计算不一致，而右侧的DAG通过顶点的偏序关系实现了一致计算。其数据流动方案可用偏序集表示，例如图1B对应的偏序集为：
[S = { {1, 2}, {3}, {4}, {5}, {6, 7}, {8}}]

当网络基于DAG时，我们称其具有前馈结构。前馈神经网络是一个DAG (G)，其中顶点集 (V = I \cup H \cup O)，其计算结构如下：
[x_p = v_p \quad [p \in I] + \sigma \left( \sum_{q \in pa(p)} w_{pq}x_q + b_p \right) \quad [p \in H \cup O]]
其中，(w_{pq}) 和 (b_p) 为实数，顶点 (p) 的激活定义为 (a_p = \sum_{q \in pa(p)} w_{pq}x_q + b_p)。

1.1 多层前馈网络

多层前馈网络是前馈网络的一种特殊情况，神经元被组织成有序的层，层内无连接。如图2所示，该网络包含两个隐藏层 ((3, 4, 5)) 和 ((6, 7, 8))，以及一个仅由神经元9组成的输出层。其偏序集为：
[S = { {1, 2}, {3, 4, 5}, {6, 7, 8}