9、文本生成中的内容选择与评估指标优化

文本生成中的内容选择与评估指标优化

1. 内容选择方法

在文本生成任务中，内容选择至关重要。以下介绍几种不同的内容选择方法。

1.1 基于词级别的内容选择

Gehrmann 等人提出了一个两步过程用于内容选择和摘要生成。内容选择可定义为词级别的提取式摘要任务。给定文档 $D$ 作为标记序列 ${w_1, w_2, \cdots, w_n}$，它会生成一个二进制标签序列 ${t_1, t_2, \cdots, t_n}$，标记文档中的每个标记。如果标记与摘要相关，则 $t_i = 1$；否则，$t_i = 0$。该任务使用标准的双向 LSTM 模型和深度上下文词嵌入（ELMo）进行建模，并通过最大似然法进行训练。具体来说，对于单词 $w_i$，其相关概率 $p_i$ 计算为 $p_i = \sigma(W h_i + b)$，其中 $W$ 和 $b$ 是模型参数。若 $p_i > \epsilon$，则 $t_i = 1$；否则，$t_i = 0$，$\epsilon$ 是超参数。

接下来是自下而上的注意力机制。在推理时，应用注意力掩码将复制的单词限制在源文本的选定部分（$t_i = 1$），以生成包含相关单词的流畅摘要。首先在完整数据集上训练标准的指针生成器模型，在推理时，修改源文档中单词 $w_i$ 在解码步骤 $j$ 的注意力 $a_{ij}$ 为 $\hat{a} {ij}$，若 $t_i = 1$，则 $\hat{a} {ij} = a_{ij}$；否则，$\hat{a}_{ij} = 0$。然后对得到的注意力分布进行归一化，并作为新的复制概率传递给指针生成器解码器。

这种方法的一个明显优势是不需要大