6、深度神经网络：原理、优势与对比分析

深度神经网络：原理、优势与对比分析

1. 深度神经网络基础

深度神经网络可由两个浅层网络组合而成。以具有两个隐藏层、每层含三个隐藏单元的网络为例，其计算过程如下：
- 第一层 ：
- (h_1 = a[\theta_{10} + \theta_{11}x])
- (h_2 = a[\theta_{20} + \theta_{21}x])
- (h_3 = a[\theta_{30} + \theta_{31}x])
- 第二层 ：
- (h_1’ = a[\psi_{10} + \psi_{11}h_1 + \psi_{12}h_2 + \psi_{13}h_3])
- (h_2’ = a[\psi_{20} + \psi_{21}h_1 + \psi_{22}h_2 + \psi_{23}h_3])
- (h_3’ = a[\psi_{30} + \psi_{31}h_1 + \psi_{32}h_2 + \psi_{33}h_3])
- 输出层 ：(y’ = \phi_0’ + \phi_1’h_1’ + \phi_2’h_2’ + \phi_3’h_3’)

从上述方程可以看出网络构建复杂函数的过程：
1. 第一层的三个隐藏单元 (h_1)、(h_2) 和 (h_3) 通过输入的线性函数并经过 ReLU 激活函数计算得出。
2. 第二层的预激活值通过对这些隐藏单元进行新的线性组合计算得到，此时相当于一个具有三个输出的浅层网络。
3. 第二层对每个函数应用 ReLU