20、用于抽象文本摘要的语法感知指针网络

用于抽象文本摘要的语法感知指针网络

1. 研究背景与动机

在文本摘要研究领域，指针网络（PN）近年来取得了突破性进展。然而，它主要聚焦于源序列的语义相关性，却忽略了文本应遵循的明确语法规则。语义和句法是文本研究的两个主要维度。此前的文本摘要生成工作大多以单词为基本研究对象，致力于探索源文本中每个单词与摘要中对应单词之间的关系，在解码时也主要计算每个单词被正确预测的概率。

本研究的贡献主要体现在以下几个方面：
- 模拟人们撰写摘要时的思维逻辑，深入探索自动摘要生成的本质，赋予深度学习一定的可解释性和推理能力。
- 针对以往相关研究中生成摘要存在的大量重复问题，本模型并非刻意去解决，而是深入思考问题背后的本质因素。
- 显著提升了生成序列的逻辑性和流畅性。

2. 基线模型

将源文本表示为 (X = [x_1, x_2, …, x_J])，其中 (J) 是 (X) 中单词（也可以是字符）的总数。为语料库设置一个足够大的固定词汇表。在神经网络的嵌入层，使用可训练的向量（word2vec）来表示相应的单词（字符），并将其作为循环网络（如 LSTM、GRU）的输入。源文本 (X) 中每个单词（字符）的信息由隐藏状态 (h_i) 表示，其中 (i \in (0, J))。由于词汇表大小的限制，一些低频词无法包含在词汇表中，这些词被称为未登录词（OOV），它们会被统一替换为 UNK，并且其语义信息也会被丢弃。

指针网络的核心思想是输出元素来源于输入。对于抽象文本摘要，在必要时可以直接将源文本中的 OOV 复制到摘要中。该模型需要解决两个关键问题：在每个解码时间步，是选择从词汇表中生成一个单词，还是从源文本中复制一个单词；如