23、神经网络与深度学习：架构、原理与应用

神经网络与深度学习：架构、原理与应用

1. 生成对抗网络（GANs）

1.1 GANs 基本原理

生成对抗网络（GANs）是深度学习领域用于生成与真实数据难以区分的合成数据的强大工具。它通过一种对抗结构，同时训练两个神经网络：判别器和生成器。

判别器的作用是对样本数据进行分类，判断其是真实数据还是合成数据。生成器则从潜在表示中生成合成数据，这些合成数据会被送入判别器进行分类。两个网络同时训练，目标是让生成器生成的合成数据与真实数据难以区分。

数学上，假设有一组真实数据 $X \in R^{n×m}$，每个数据样本 $x_k \in R^n$ 作为输入，通过神经网络 $f_{\theta_1}$ 映射到一个分类标签 $y_k$，表示数据是真实还是合成的：
$y_k = f_{\theta_1}(x_k)$

生成器网络 $\tilde{f} {\theta_2}$ 从潜在空间 $z_k \in R^p$ 生成合成数据样本 $\tilde{x}_k$：
$\tilde{x}_k = \tilde{f} {\theta_2}(z_k)$

这些合成数据也会作为输入被送入判别器：
$\tilde{y} k = f {\theta_1}(\tilde{x}_k)$

训练过程中，同时考虑两个损失函数：
- $L_{f_{\theta_1}}$：最大化将正确标签分配给训练示例 $x_k$ 和生成器样本 $\tilde{x} k$ 的概率。
- $L {\tilde{f}_{\theta_2}}$：最小