4、深度学习与神经网络：前馈全连接人工神经网络详解

深度学习与神经网络：前馈全连接人工神经网络详解

1. 前馈全连接人工神经网络基础

前馈全连接（FFFC）拓扑是一种被广泛采用的人工神经网络（ANN）拓扑结构。虽然聚焦于这种简单拓扑，但相关原理和概念同样适用于其他拓扑。

ANN可被看作一个有向图 (G(N, E))，其中节点（顶点）为神经元，神经元之间通过有向边连接，边的方向决定信号流向。大多数神经元既是信号源也是目标，非信号源的神经元为输出神经元，非目标的神经元为输入神经元。输入神经元是信号进入图的入口，输出神经元提供计算的最终结果。例如，对于 (\hat{y} = ANN(x))，(x) 被输入到输入神经元，(\hat{y}) 从输出神经元读取。

每个神经元都有独立的内部状态，该状态由与其相连的源神经元的输入信号计算得出。神经元根据这些输入计算自身的内部状态，构建自己的信号（即响应），然后通过有向边将该状态传播到目标神经元。

神经元之间的边带有实数权重，这些权重决定了目标神经元接收到的信号的行为，是ANN的关键所在。不同的权重可以使ANN实现不同的函数，如正弦、余弦等。ANN的权重是模型的参数，训练神经网络的任务就是确定这些权重 (w)，表示为 (\hat{y} = ANN(x; w)) 或 (\hat{y} = ANN(x|w))。给定一个训练集，训练ANN就是使模型中的权重与训练集中的示例相匹配，从而使模型对于给定输入能够产生正确的输出。

ANN的图可以有多种形式，为了清晰阐述，我们选择全连接前馈架构作为基础。在这种架构中，信息从单个输入层无环地通过多个隐藏层，最终到达单个输出层，信号始终在图中向前流动。

ANN由一组层组成，层是相关神经元的集合，层的宽度由其中包