31、深度学习者泛化能力的提升与正则化方法

深度学习者泛化能力的提升与正则化方法

1. 变分自编码器基础

变分自编码器（Variational Autoencoder，VAE）在架构上与其他类型的自编码器有本质区别，它以随机方式对隐藏变量进行建模。其损失函数为 (J = L + \lambda R)，其中对 (\mu_i) 和 (\sigma_i) 的偏导数计算如下：
- (\frac{\partial J}{\partial \mu_i} = \frac{\partial L}{\partial h_i}\frac{\partial h_i}{\partial \mu_i}+\lambda \frac{\partial R}{\partial \mu_i})，且 (\frac{\partial h_i}{\partial \mu_i} = 1)
- (\frac{\partial J}{\partial \sigma_i} = \frac{\partial L}{\partial h_i}\frac{\partial h_i}{\partial \sigma_i}+\lambda \frac{\partial R}{\partial \sigma_i})，且 (\frac{\partial h_i}{\partial \sigma_i} = z_i)

后续从 (\mu(X)) 和 (\sigma(X)) 的激活进行误差传播，与反向传播算法的正常工作方式类似。

与去噪自编码器相比，去噪自编码器是向输入添加噪声，且对隐藏分布的形状没有约束；而变分自编码器是对随机隐藏表示进行操作，在训练时将随机性作为额外输入，即向隐藏表示添加噪声而非输入数据。这种变分方法通过鼓励每个输入映射到隐藏空间中的随机区域而非单个点