多样性QA对的生成

最新推荐文章于 2024-10-15 07:32:51 发布

原创最新推荐文章于 2024-10-15 07:32:51 发布 · 1.7k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#其他

论文阅读笔记专栏收录该内容

5 篇文章

订阅专栏

提出一种分层条件变分自编码器(HCVAE)框架，用于从非结构化文本中生成多样且一致的QA对。该模型通过最大化问题与答案之间的互信息来确保QA对的一致性，并在多个基准数据集上取得优秀效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs

摘要

QA任务中关键挑战之一是标记QA对的稀缺，因为获取人工标记的QA对成本很高。解决这个问题的方法之一是自动从问题上下文或者大量非结构化的文本（如Wikipedia）中自动获取QA对。
本文提出一种分层条件变分自动编码器（hierarchical condtional variational autoencoder HCVAE）,作用是在给定非结构化文本中生成QA对，同时最大化QA对之间信息的相关性，确保QA的一致性。
作者在几个基准数据集上验证了信息最大化层次条件变分自动编码器，方法是使用生成的QA对和人类标签的QA对评估QA模型的性能，针对最先进的基线模型。在这两个模型上他们的模型都取得了很好的性能收益。

引言

问题生成的多样性

随着网络复杂性以及大规模语料库预训练语言模型知识转移的使用，最先进的模型在基准数据集上已经达到人类水平，为了将其部署到现实世界，需要大量结构化高质量的QA对，这很昂贵而且耗费人力时间
问题生成(QG)，或问答对生成(QAG)，是一种克服数据稀缺挑战的流行方法。现有的QG系统忽略了一个重要的问题，即从由非结构化文本组成的上下文生成QA对实质上是一个一对多的问题。因为给定给模型的上下文通常包含更丰富的信息，可以利用这些信息生成多个QA对。
针对上述问题，本文提出了一种新的QA对生成概率深度生成模型。该模型是一个分层的条件变分自编码器(HCVAE)，它具有两个独立的基于上下文条件的问题答案潜空间，其中答案潜空间附加地基于问题潜空间。在生成过程中，这个分层条件VAE首先生成给定上下文的答案，然后通过从两个潜空间中采样，生成给定答案和上下文的问题。这种概率方法允许模型在每次都针对上下文的不同部分生成不同的QA对。
QG任务的另一个关键挑战是确保问题和相应答案之间的一致性，因为它们应该在语义上相互依赖，以便从给定的答案和上下文回答问题。本文通过最大化答案及问题之间的一致信息来解决这一一致性问题。实验证明，所提出的互信息最大化方法显著提高了qa对的一致性。将HCVAE和InfoMax正则化相结合，提出了一种新的概率生成QAG模型，称为信息最大化分层条件变分自动编码器(Information - hcvae)。Info-HCVAE即使在非常短的文本中也能生成多样且一致的QA对。
如何定量地衡量生成的QA对的质量呢?流行的文本生成评价指标(如BLEU、ROUGE)、METEOR )只告诉生成的QA对与GroundTruth (GT) QA对有多相似，而与它们的实际质量没有直接关联。因此，我们使用Zhang和Bansal(2019)提出的基于QA的评价(QAE)度量，它衡量生成的QA对与GT QA对分布的匹配程度。然而，在已经有GT标签的半监督学习环境中，我们需要不同于GT QA对的新QA对，以使额外的QA对真正有效。因此，我们提出了一种新的度量——反向QAE (R-QAE)，如果生成的QA对是新颖和多样化的，则R-QAE较低。
在SQuAD v1.1、Natural Questions和TriviaQA数据集上使用BERT-base 作为QA模型的QAE和R-QAE实验验证了QAG模型。我们的QAG模型获得了较高的QAE和较低的R-QAE，在使用数量显著减少的上下文时，大大超过了最先进的基线。使用SQuAD作为标记数据集的三个数据集的半监督QA的进一步实验结果表明，该模型在最先进的基线(SQuAD +2.12, NQ +5.67, EM中Trivia QA +1.18)上取得了显著的改进。
三个贡献：提出了一种新的分层变分框架，用于从单个上下文生成不同的问答对，这是已知的第一个问题答案对生成的概率生成模型；提出了一个InfoMax正则化器，它通过最大化它们的互信息，有效地加强了生成的QA对之间的一致性。这是一种解决QAG QA对之间一致性的新方法；在几个基准数据集上评估该框架，方法是完全使用生成的QA对(基于QA的评估)训练一个新模型，或者同时使用基本事实和生成的QA对(半监督QA)。该模型在这两个任务上都取得了不错的性能，大大超过了现有的QAG基线。

方法

目标是生成多样化且一致的QA对，以解决抽取式QA任务中的数据稀缺问题。形式化来说：给定一个包含M个标记的文本c,c=(c1,c2,…,cM),想要生成的是QA对（X,Y），其中X=(x1,…xN)是包含了N个标记的问题，而Y=(y1,y2,…yL)是包含L个标记对应答案。目标是通过学习给定文本的问题和答案的条件联合分布p(x,y|c)来解决QAG任务,可以从中抽取QA对（x,y）
在这里插入图片描述
可以用一个深度概率生成模型估计p(x,y|c),接下来将详细描述这个过程。

1. 分层条件VAE

作者提出用一种变分自编码器(VAE)框架逼近未知条件联合分布p(x, y|c) 。但是并没有直接学习问题和答案的共同隐空间，而是将p(x, y|c)建模在一个分层条件VAE框架中，为问题和答案建立了一个独立的隐空间，如下所示，其中，zx和zy分别是问题和答案的隐变量，pψ(zx|c)和pψ(zy|zx，c)是它们遵循各向同性高斯分布和分类分布的条件先验（没太理解，字面意思好像是类似于混合高斯模型）:
在这里插入图片描述
之所以将问题和答案的隐空间分解，是因为答案总是一个来源于c的有限文本，可以由分类分布建模，而连续隐空间对答案来说是个更好的选择，因为一个文本可以对应无数个有效的问题。此外，作者还设计了QA中联合分布的双向依赖流。通过层次结构强制答案隐变量依赖于问题隐变量即pψ(zy|zx，c)，并通过抽样问题x∼pθ(x|zx，y，c)实现反向依赖关系。然后，使用一个变分的后验qφ（·）来最大限度地提高证据的下限(ELBO)，如下所示，其中，θ、φ、ψ分别为生成、后验和先验网络的参数。我们将这个模型称为层次条件变分自动编码器(HCVAE)框架。