ACL 2019 A Simple Theoretical Model of Importance for Summarization

最新推荐文章于 2021-07-03 05:36:07 发布

原创最新推荐文章于 2021-07-03 05:36:07 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

NLP 专栏收录该内容

64 篇文章

订阅专栏

本文介绍了瑞士洛桑联邦理工学院的杰出论文，该文提出了基于重要性的摘要生成理论模型，旨在提升摘要质量。模型考虑了冗余度、相关性、信息量和重要性四个关键概念，利用信息论原理优化摘要生成过程。

本篇论文是来自瑞士洛桑联邦理工学院的《A Simple Theoretical Model of Importance for Summarization》,它获得了ACL 2019 的杰出论文奖。作者主要通过建立基于重要性的理论模型来加深对于摘要生成任务的理解，并进一步的改进摘要系统。为了进一步的提升生成摘要的质量，作者提出了四个概念来指导摘要生成的过程：

Redundancy
Relevance
Informativeness
Importance

生成摘要的一个原则就是在保证某些特性的情况下，尽可能的表述原文中的信息。而信息论中的熵等概念同样也是用来进行信息量的讨论，在宏观层面上两者的讨论是一致的，因此可以借助信息论来讨论摘要生成的相关问题。

信息论研究的是信息的不确定性，例如熵可以表示某时刻状态下的混乱程度，它所研究的层面较高且笼统。因此无法直接将其和摘要生成任务相联系，这里需要将文本划分为不同的语义单元，由语义单元负责文本的语义信息，而使用信息论只需要在语义层级上进行考虑即可。当然语义单元的划分方式也不尽相同，我们可以根据需要在文本的不同层级进行划分，如unigram、bigram、n-gram、sentence等。

假设当前原文档为 $D$ ， $w_{i}$ 表示第 $i$ 个语义单元， $\Omega$ 表示划分后的语义单元所组成的集合， $X$ 表示从 $\Omega$ 中抽取的语义单元所组成的文本， $P_{D}$ 表示基于语义单元组合的概率分布， $P_{X}$ 表示每个文本基于语义单元组合的概率分布， $P_{S}$ 表示候选摘要基于语义单元的概率分布。

冗余度（Redundancy）

如果简单的使用相关性来对文档中的句子进行排序，然后选择相关性最高的某些句子来生成摘要，但由于相关性分数接近的句子表述的内容通常也是接近的，因此摘要的冗余度就会很高。而一个好的摘要应该是包含不同的信息，而不是大量相似的信息，而冗余度可以使用熵进行描述。

对于 $S$ 来说，它的熵可以表示为 $\sum_{w_{i}}P_{S}(w_{i}) \cdot \log(P_{S}(w_{i}))$ 那么冗余度可以表示为 $R e d (S) = - H (S)$ 。建模的目标是冗余度尽量小，那么表示 $S$ 的熵值越大，表示文本的不确定性越好，所包含的信息量也越大，对应的冗余度也就越小。

在此之前的MMR（Maximal Marginal Relevance）方法是从相关性和冗余度两个方面进行考虑，选择综合分数最高的句子生成摘要；基于Submodular的方法是从多样性的角度进行考虑，希望选择的句子的差别更大。

信息量（Informativeness）

假设用户在读摘要前已经知道了很多东西，即存在一个知识库 $K$ ，它所满足的概率分布使用 $P_{K}$ 表示。那么在摘要生成时不仅需要保证结果对于文档的表述，还要尽可能的包含更多新的信息，即用户不知道的信息。按照前面的定义方式，只需要使得生成的摘要 $S$ 和 $K$ 尽可能的不同，即增大两者之间的交叉熵 $Inf(S，K)=CE(S,K)=-\sum_{w_{i}}P_{S}(w_{i}) \cdot \log(P_{K}(w_{i}))$ 如何建模 $K$ 或者说如何表示用户已经知道的东西，我觉得在模型的不断训练中，生成摘要时同时建模 $K$ ，那么对于同一主题的文档集，当训练数据足够多时，在训练结束后不仅可以得到可以生成较好摘要的模型，还可以建立包含同类信息的知识图谱或常识库。当然可以寻找同类型的常识库辅助训练，但偏差应会更大一些。

重要性（Importance）

对于同样语义单元而言，它既可能出现在 $K$ 中也可能出现在 $S$ 中，如何评估它对于摘要的贡献程度，即使用所提出的重要性分数来判断是否使用它还是丢弃。假设 $d_{i}=\mathbb{P}_{D}\left(\omega_{i}\right)$ 表示 $w_{i}$ 在 $D$ 中的概率， $k_{i}=\mathbb{P}_{K}\left(\omega_{i}\right)$ 表示 $w_{i}$ 在 $K$ 中的概率。那么模型的目标是寻找一个函数 $f(d_{i},k_{i})$ 来综合评估重要性分数，而且 $f$ 应满足如下的四个条件：

Informativeness：对于 $\forall i \neq {j}$ ，如果 $d_{i}=d_{j}$ 且 $k_{i}>k_{j}$ ，那么必有 $f\left(d_{i}, k_{i}\right)<f\left(d_{j}, k_{j}\right)$ ，即如果两个语义单元在原文档中出现的概率是一样的，但是 $w_{i}$ 比 $w_{j}$ 在知识库中出现的次数多，表示用户了解 $w_{i}$ 更多，那么它在摘要中的提供的信息量就比 $w_{j}$ 要少一些
Relevance：对于 $\forall i \neq j$ ，如果 $d_{i}>d_{j}$ 且 $k_{i}=k_{j}$ ，那么必有 $f\left(d_{i}, k_{i}\right)>f\left(d_{j}, k_{j}\right)$ ，即如果 $w_{i}$ 和 $w_{j}$ 在知识库中出现的概率相同，但是 $w_{i}$ 在原文档出现的概率更大，表示它和原文档的相关性更大
Additivity： $I\left(f\left(d_{i}, k_{i}\right)\right) \equiv \alpha I\left(d_{i}\right)+\beta I\left(k_{i}\right)$ ，表示一致性约束
Normalization： $\sum_{i} f\left(d_{i}, k_{i}\right)=1$ ，保证了 $f$ 是有效的概率分布

且同时满足上述的函数应为如下的形式
$\begin{aligned} \mathbb{P}_{\frac{D}{K}}\left(\omega_{i}\right) &=\frac{1}{C} \cdot \frac{d_{i}^{\alpha}}{k_{i}^{\beta}} \\ C &=\sum_{i} \frac{d_{i}^{\alpha}}{k_{i}^{\beta}}, \alpha, \beta \in \mathbb{R}^{+} \end{aligned}$
其中 $\alpha$ 和 $\beta$ 是平衡因子，它其实提供了一个理想的摘要分布的上界。使用交叉熵评估重要性为 $Importance(S,\frac{D}{K})=-CE(S,\frac{D}{K})$ 如果使用KL散度可以表示为 $\theta_{I} (S,D,K)=-KL(P_{S}||P_{\frac{D}{K}})$ 那么理想的摘要 $S^*$ 就是求得 $\theta_{I}$ 值最小时的分布，即满足 $S^{*}=\underset{S}{\operatorname{argmax}} \theta_{I}=\underset{S}{\operatorname{argmin}} K L\left(S \| \mathbb{P}_{\frac{D}{K}}\right)$

将前面所提到几种概念整合到一起有
$\begin{aligned} \theta_{I}(S, D, K) \equiv &-\operatorname{Red}(S)+\alpha \operatorname{Rel}(S, D) \\ &+\beta \operatorname{In} f(S, K) \end{aligned}$
在最大化 $\theta_{I}$ 的同时就相当于最大化相关性和信息量，同时最小化冗余度。它可以做为以后模型训练的指导函数，通过综合考虑多方面的信息来生成更好的摘要。

而且前面所提到的相关性是针对 $S$ 和 $D$ 来说的，信息量是针对 $S$ 和 $K$ 来说的，那么能否也建立 $D$ 和 $K$ 之间的联系呢？为此作者提出了潜信息（Potential Information）的信息，即当 $D$ 和 $K$ 相差较大时，可以从 $D$ 中抽取更多的信息，而两者之间的差异统一可以使用交叉熵进行评估 $PI_{K}(D) = CE(D,K)$ 它可以用来指导摘要模型的训练，在训练前期 $K$ 中的内容较少，模型可以从 $D$ 中抽取大量的信息。但随着训练的进行， $K$ 中的信息变得更丰富，模型就不必从 $D$ 中获取更多的信息，也减少了抽取的工作量。