MaskGAN（2018-ICLR）

最新推荐文章于 2025-06-27 16:29:54 发布

原创最新推荐文章于 2025-06-27 16:29:54 发布 · 663 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理

笔记专栏收录该内容

74 篇文章

订阅专栏

MaskGAN是一种基于Seq2Seq结构的生成模型，通过生成掩码决定序列中哪些标记保留或替换为特殊掩码令牌。编码器读取掩码序列，解码器在真实上下文中工作，而判别器评估生成序列的真实性，其估计的对数作为奖励。

在这里插入图片描述

MaskGAN

结构：Seq2Seq

在这里插入图片描述

Generator

对于离散序列 $x$ =（ $x_1$ ，····， $x_T$ ），生成一个长度相同的二进制掩码 $m$ =（ $m_1$ ，···， $m_T$ ），其中每个 $m_T$ $\in$ { $0$ , $1$ }，选择将保留哪些标记。如果掩码为 $0$ ，则时间 $t$ ， $x_t$ 处的令牌被替换为特殊掩码令牌，如果掩码为 $1$ ，则保持不变。
编码器读取mask序列，将其表示为 $m$ （ $x$ ），其中掩码是按元素应用的。编码器在解码期间为MaskGAN提供对未来上下文的访问。解码器的条件是mask文本 $m$ （ $x$ ）以及它在此之前填充的内容。生成器将序列上的分布分解为有序的条件序列:
在这里插入图片描述
Discriminator具有与Generator相同的体系结构，但输出是每个时间点的标量概率，而不是词汇表大小的分布。

必须给鉴别器一个真实的上下文，否则，该算法就有一个临界失效模式。例如，在没有上下文的情况下，如果给鉴别器“the director director guided the series”的填充序列，那么它将无法可靠地将director—— director二元组识别为假文本，尽管这个二元组可能从未出现在训练语料库中（除了错误的打字错误）。原因是不清楚director的两个出现中哪一个是假的；theassociatedirector guided the series ，或者the directorexpertlyguided the series都是潜在的有效序列。在没有上下文的情况下，鉴别器赋予两个词相同的概率。当然，对于Generator这是一个不准确的学习信号，这将不会正确地惩罚产生这些二元组。为了防止这种情况的发生，在给定mask序列 $m$ （ $x$ ）的真实上下文情况下。鉴别器 $D_φ$ 计算每个token: $x$ $−^-$ $_t$ 为真实值的概率。