超级会员免费看
本文探讨了一种半监督学习方法——SentAugment，用于利用大量无标签数据增强有标签数据。通过创建大规模无监督句子库，计算任务特定的查询嵌入，从网络中检索相关句子。使用预训练的Transformer编码器优化相似句子的余弦相似度，然后对下游任务的句子进行增强。实验表明，这种方法可以与self-training和知识蒸馏结合，有效提升自然语言理解任务的性能。
本文研究了半监督学习中通过自监督训练利用非标记数据的一种方法。具体来说，引入了SentAugment，这是一种数据增强方法，它从有标签的数据中计算特定于任务的查询嵌入，从从网络上爬取的数十亿个无标签的句子库中检索句子（/(ㄒoㄒ)/~~果然是Facebook AI才配做的工作啊）。与以前的半监督方法不同，本文的方法不需要域内无标记数据，因此更普遍适用（我觉得咋不太实用呢，主要是数据量太大了穷逼应该用不起吧？）。
其实本文的思路很简单，捋一遍论文就知道了。
Approach
总体的结构图如图所示：
Large-scale sentence bank
本文的方法依赖于一个大规模的无监督句子语料库，也就是摘要中提到的上亿条数据【1】。该句子嵌入空间不依赖于下游任务，将用于检索与特定任务相关的句子库子集。换句话说
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
