18、常见神经网络结构解析

常见神经网络结构解析

1. 全连接深度神经网络

全连接深度神经网络是深度学习中最传统的架构，通常由一个输入层、任意数量的隐藏层和一个输出层组成。

• 网络结构

  • 输入层接收一个固定大小的向量输入，并将其传递给第一个隐藏层。
  • 每个隐藏层由线性子层 (a_l) 和非线性子层 (z_l) 组成。线性子层 (a_l) 通过全连接与前一个非线性子层 (z_{l - 1}) 相连，公式为 (a_l = W^{(l)}z_{l - 1} + b^{(l)})，其中 (W^{(l)}) 和 (b^{(l)}) 分别是第 (l) 个隐藏层的权重矩阵和偏置向量。非线性子层 (z_l) 通过激活函数与线性子层 (a_l) 相连，若使用 ReLU 作为激活函数，则 (z_l = ReLU(a_l))。
  • 输出层生成整个神经网络的最终输出 (y)。如果网络用于分类，输出层通常使用 softmax 函数来为所有不同的类别生成类似概率的输出。输出层也可分为两个子层 (a_L) 和 (z_L)，(a_L = W^{(L)}z_{L - 1} + b^{(L)})，(y = z_L = softmax(a_L))。

• 前向传播过程

  1. 输入层：(z_0 = x)
  2. 隐藏层（(l = 1, 2, \cdots, L - 1)）：
     • (a_l = W^{(l)}z_{l - 1} + b^{(l