49、生成对抗网络与强化学习：数据合成与决策优化

生成对抗网络与强化学习：数据合成与决策优化

1. 利用EM距离训练GAN模型

在GAN模型训练中，可借助EM距离来衡量真实样本分布 (P_r) 和生成样本分布 (P_g) 之间的差异。不过，直接计算EM距离是一个优化问题，计算量极大，尤其在GAN训练的每次迭代中重复计算时更是如此。幸运的是，可利用Kantorovich - Rubinstein对偶定理简化计算，公式如下：
(W(P_r, P_g) = \sup_{|f| L\leq1} E {u\in P_r}[f(u)] - E_{v\in P_g}[f(v)])
这里的上确界是对所有满足 (|f|_L\leq1) 的1 - Lipschitz连续函数而言的。

要找到用于计算GAN中真实和生成样本分布之间Wasserstein距离的1 - Lipschitz连续函数，可利用深度神经网络的万能函数逼近特性，训练一个神经网络模型来近似Wasserstein距离函数。简单GAN使用分类器形式的判别器，而WGAN将判别器改为评判器，返回标量分数而非概率值，该分数可表示输入图像的真实程度。

Lipschitz连续性方面，1 - Lipschitz连续函数 (f) 需满足 (|f(x_1) - f(x_2)| \leq |x_1 - x_2|) ；满足 (|f(x_1) - f(x_2)| \leq K|x_1 - x_2|) 的实函数 (f: R \to R) 被称为K - Lipschitz连续函数。

使用Wasserstein距离训练GAN时，判别器 (D) 和生成器 (G) 的损失定义如下：
- 判别器损失的真实部分：(L_D^{real} = -\frac{