4、深度学习模型与网络架构解析

深度学习模型与网络架构解析

1 前馈网络

1.1 基本前馈网络

基本前馈网络具有单隐藏层，其中 ( w^{(2)} {kj} ) 和 ( w^{(2)} {k0} ) 是与输出层相关的权重， ( w^{(1)} {ji} ) 和 ( w^{(1)} {j0} ) 是与隐藏层相关的权重。通过非线性激活函数 ( \sigma ) 可以实现非线性建模。

1.2 深度前馈网络

深度前馈网络比基本前馈网络有更多的隐藏层，隐藏层的数量 ( H ) 可以在图中表示出来。更多的隐藏层为深度网络提供了更强的处理能力。

2 线性因子模型

2.1 基本线性因子模型

给定一个潜在变量 ( h ) 和一个实变量 ( x )，若 ( h \approx p(h) )，则可以定义线性模型为：
[ x = wp(h) + b + noise ]
其中 ( p(h) ) 是因子分布， ( b ) 是偏置， ( w ) 是权重，噪声在所有维度上独立且服从高斯分布。该方程是基本线性因子模型，后续的其他形式将由此推导得出。

2.2 概率主成分分析（PCA）

PCA 是线性因子模型的第一个变体。在利用上述基本线性模型时，PCA 允许在观察到实值变量 ( x ) 之前，在近似潜在变量 ( h ) 时发生噪声变化，即 ( h \approx N(h; 0, I) )。假设变量 ( x_i ) 相对于 ( h ) 条件独立，则有 ( x \approx N(x; b, WW^T + \psi) )，其中 ( \psi = di