[ACL22] SummaReranker (Ravaut et al, 2022) 阅读笔记

SummaReranker: A Multi-Task Mixture-of-Experts Re-ranking Framework for Abstractive Summarization [pdf]

• 论文状态：被ACL22接收
• 作者：NTU的 Mathieu Ravaut、Shafiq Joty 和 I2R的Nancy F. Chen
• TL;DR: 使用不同的Decoding methods可获取各有优势评价指标的summary candidate，作者设计了一种基于mixture-of-experts architecture的多任务学习框架来给candidate做重排序，可以联合优化不同的评价指标。

1. Motivation

• 一般的摘要模型都采用自回归解码，但是这会产生exposure bias、 teacher forcing等问题。
• 不同的Decoding methods，包括top-k/top-p sampling、Diverse Beam Search等都在不同程度上建模了摘要的整体概率分布，作者的预实验发现，如果用Oracle挑出不同Decoding methods的最佳结果组合起来能够比普通的greedy search高13个点的R1分数。
• 现在摘要任务的评价指标很多，到底要re-rank出什么指标好的candidate是因人而异的。所以作者设计了一种多任务重排序系统，可自定义不同的优化指标去排序。

2. Contribution

• 针对abstractive summarization任务，SummaReranker是第一个多任务重排序系统
• 在3个不同的摘要数据集{CNN-