Prune-and-score:learning for greedy coreference resolution

Prune-and-score:learning for greedy coreference resolution

本文是受HC-search算法的启发而得，HC-Search是一种分而治之的解决方案，可以学习具有预定义角色的多个组件，并且每个组件都可以通过简化其他组件的角色来实现总体目标。本论文的一个核心内容就是学习两个function(scoring function 和 pruning function)；来解决评分的不可实现性的问题。作者又提到其核心思想和coarse-to-fine架构差不多。

作者的贡献

主要是三点：

• 提出了prune-and-score的思想
• 把总的loss分解为两个：pruning loss 和 scoring loss
• 领域最好

problem setup

CR问题就是一个分类问题，输入x，抽取m(mention)，最后输出Ck（所有的指向同一个实体的mention的聚类）,总的loss可以由L(x, y’, y)来表示， 其中x-输入， y’-模型的输出， y-真正的输出
在本问题中，我们的框架是以搜索为基础， 包括三个关键组件：

• search space Sp : Sp是一个三元组<I, A, T>，其中，I是初始化的状态方程， A是可能的动作， T是预测值（True or False）
• Action pruning function
• Action scoring function
  本文使用的搜索方法是 ** 贪婪搜索 **

Greedy Prune-and score Approach

流程：

The search starts at the initial state s0 = I(x) (see Algorithm 1). At each non-terminal state s, the pruning function Fprune
retains only the top b actions (A0) from A(s) (Step 3), and the scoring function Fscore picks the best scoring action ap 2 A0 (Step 4) to reach the next state. When a terminal state is reached its contents are returned as the prediction.

具体的一个例子

Learning Algorithms

总的loss可以由下面的公式表示：