Revisiting Zero-Shot Abstractive Summarization in the Era of Large Language Models

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量470

点赞数 11

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136024888

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文探讨了大型语言模型（LLM）在零样本抽象概括中的位置偏差问题，揭示了模型不公平地优先处理输入文本部分的倾向。通过对GPT 3.5-Turbo、Llama-2等模型的实验，研究显示位置偏差影响了摘要生成的性能，为理解和改进LLM在摘要任务中的应用提供了新视角。

本文是LLM系列文章，针对《Revisiting Zero-Shot Abstractive Summarization in the Era of Large
Language Models from the Perspective of Position Bias》的翻译。

摘要

我们通过测量位置偏差来表征和研究大型语言模型（LLM）中的零样本抽象概括，我们提出这是文献中先前研究的更具限制性的引导偏差现象的一般公式。位置偏差反映了模型不公平地将输入文本的某些部分的信息优先于其他部分的倾向，从而导致不期望的行为。通过在四个不同的真实世界数据集上进行的大量实验，我们研究了多个LLM模型（如GPT 3.5-Turbo、Llama-2和Dolly-v2）以及最先进的预训练编码器-解码器抽象摘要模型（如Pegasus和BART）中的位置偏误。我们的发现为零样本摘要任务模型的性能和位置偏误带来了新的见解和讨论。