Reading Subtext: Evaluating Large Language Models on Short Story Summarization with Writers

本文是LLM系列文章，针对《Reading Subtext: Evaluating Large Language Models on Short Story
Summarization with Writers》的翻译。

摘要

我们评估了最近的大型语言模型（LLM）在总结短篇小说这一具有挑战性的任务上的表现，短篇小说可能很长，包括微妙的潜台词或混乱的时间线。重要的是，我们直接与作者合作，以确保故事没有在网上分享（因此模型看不到），并使用作者自己的判断获得对摘要质量的知情评估。通过基于叙事理论的定量和定性分析，我们比较了GPT-4、Claude-2.1和LLama-2-70B。我们发现，这三种模型在超过50%的摘要中都会出现忠实错误，难以解释困难的潜台词。然而，在最好的情况下，这些模型可以对故事进行深思熟虑的主题分析。我们还证明了LLM对摘要质量的判断与作者的反馈不匹配。

1 引言

2 相关工作

3 作家与数据

4 摘要生成

5 人类评估

6 结果

7 讨论

8 结论

我们与作家合作，提供未发表的短篇小说，并评估LLM生成的这些故事摘要的质量。我们提出了一种基于叙事理论的总结质量的定量和定性整体评估，该评估基于LLM