Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization

本文是LLM系列文章，针对《Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization》的翻译。

摘要

在数字文本以前所未有的速度激增的时代，高效的摘要工具变得不可或缺。虽然大型语言模型 (LLM) 已成功应用于各种 NLP 任务，但它们在提取文本摘要中的作用仍未得到充分探索。本文介绍了 EYEGLAXS（用于提取摘要的简单而高效的大型语言模型），这是一个利用 LLM（特别是 LLAMA27B 和 ChatGLM2-6B）对长文本文档进行提取摘要的框架。 EYEGLAXS 不采用经常出现事实不准确和幻觉等问题的抽象方法，而是专注于提取摘要，以确保事实和语法的完整性。 EYEGLAXS 利用 Flash Attention 和参数高效微调 (PEFT) 等最先进的技术，解决了通常与LLM相关的计算和资源挑战。该系统在 PubMed 和 ArXiv 等知名数据集上设定了新的性能基准。此外，我们通过额外的分析扩展了我们的研究，探索LLM处理不同序列长度的适应性及其在较小数据集上训练的效率。这些贡献不仅在该领域树立了新标准，而且为提取文本摘要的未来研究开辟了有希望的途径。

1 引言

2 文献综述

3 方法

4 实验

5 结果与分析

6 结论

本文介绍了 EYEGLAXS，这是一种利用大型语言模型 (LLM) 进行长文本提取摘要的新颖系统。我们的工作挑战了对仅编码器模型的传统依赖，展示了LLM在管理不同序列长度方面的适应性，并为 PubMed 和 arXiv 数据