10、深度神经网络架构：自编码器、变分自编码器与生成对抗网络

深度神经网络架构：自编码器、变分自编码器与生成对抗网络

1. 自编码器神经网络（Autoencoder Neural Networks）

自编码器神经网络（AE NNs）是一种相对简单的人工神经网络，它利用无监督学习技术进行表征学习。可以将这种编码器 - 解码器架构看作是一个前馈网络，试图学习一个恒等函数，即输入为 (x)，输出也为 (x)。为了使这个过程更具挑战性，网络中设置了一个维度小于输入的瓶颈层，这迫使网络对原始输入特征进行压缩和重建，从而将输入有效地压缩成一个良好的表征。

1.1 自编码器的工作原理

• 编码器（Encoder） ：由卷积模块和池化块组成，将输入数据压缩成低维信息，这些信息由瓶颈层进行编码。
• 瓶颈层（Bottleneck） ：是神经网络中最小但最重要的部分，它像一个阀门，只允许最关键的信息从编码器传递到解码器。该层封装了输入的知识表征，有助于建立不同输入特征之间的有用关联。较小的瓶颈层维度可以降低过拟合的风险，但如果维度过小，可能会导致关键信息丢失。因此，瓶颈层的大小也起到了正则化的作用。
• 解码器（Decoder） ：由上采样和卷积模块组成，帮助重建编码后的瓶颈知识，尝试从压缩的潜在属性中重建原始图像，并减少噪声。

1.2 自编码器的应用

自编码器通常只能重建与训练数据类似的样本，这一特性使其在降维、图像和音频去噪、信息检索、图像修复和异常检测等领域得到应用。虽然一些自编码器变体，如欠完备自编码器或稀疏自编码器在计算机视觉中