TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale

本文是LLM系列文章，针对《TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale》的翻译。

摘要

大型语言模型（LLM）的出现大大推进了文本摘要等自然语言处理任务。然而，它们的大尺寸和计算需求，加上数据传输中的隐私问题，限制了它们在资源受限和以隐私为中心的环境中的使用。为了克服这一点，我们引入了TriSum，这是一个将LLM的文本摘要能力蒸馏到紧凑的局部模型中的框架。最初，LLM提取了一组方面三重的理由和摘要，并使用双重打分方法对其进行了改进。接下来，用这些任务训练一个较小的局部模型，采用从简单任务发展到复杂任务的课程学习策略。我们的方法在各种基准测试（CNN/DaylyMail、XSum和ClinicalTrial）上增强了局部模型的性能，分别比基线高4.5%、8.5%和7.4%。它还通过提供对摘要原理的深入了解来提高可解释性。