11、神经网络架构中的GAN与图神经网络解析

神经网络架构中的GAN与图神经网络解析

1. GAN训练难题与评估

在整个生成对抗网络（GAN）的最优训练过程中，生成器（G）和判别器（D）之间的非合作博弈使得难以达到纳什均衡。理想情况下，无论生成器的表现如何，网络都期望判别器既不失败也不获胜。但与其他神经网络训练相比，这很难实现，GAN 常常陷入梯度下降的稳定轨道，而非收敛到理想的均衡状态。与其他深度学习技术相比，GAN 的损失曲线往往具有欺骗性，由于缺乏恰当评估 GAN 训练的指标，早期停止策略通常不适用，因此可视化检查成为验证训练是否正确的常见做法。

GAN 的评估也不直观，主要差异在于生成器和判别器的函数损失，这取决于判别器输出的是概率还是无界值，以及梯度如何被惩罚和评估。Inception score 和 Fréchet Inception Distance（FID）是评估模型的一些方法。

2. 图神经网络（GNN）的兴起

近年来，循环神经网络（RNN）、卷积神经网络（CNN）、生成对抗网络（GAN）和自编码器（AE）等神经网络在模式识别和大规模数据处理方面取得了快速的研究进展和技术成功。我们已经了解了深度学习处理欧几里得数据（如图像、文本或分类数据）的方法，这些网络通常要求输入是统一的矩形数组格式，例如感知机的固定输入特征、CNN 的固定大小网格结构以及 RNN 的输入 - 输出时间序列。

然而，图具有复杂的拓扑结构、可变大小的无序节点以及排列不变性等特征，这与卷积网络不同，在卷积网络中，像素的变化会被模型以不同方式感知。这使得传统网络不适合处理这种学习范式。因此，我们需要将注意力转向处理以图形式表示的非欧几里得数据结构，这些数据结构中对象之间的连接和相互依赖关系更为复杂。