本文是LLM系列文章,针对《Reading Subtext: Evaluating Large Language Models on Short Story
Summarization with Writers》的翻译。
摘要
我们评估了最近的大型语言模型(LLM)在总结短篇小说这一具有挑战性的任务上的表现,短篇小说可能很长,包括微妙的潜台词或混乱的时间线。重要的是,我们直接与作者合作,以确保故事没有在网上分享(因此模型看不到),并使用作者自己的判断获得对摘要质量的知情评估。通过基于叙事理论的定量和定性分析,我们比较了GPT-4、Claude-2.1和LLama-2-70B。我们发现,这三种模型在超过50%的摘要中都会出现忠实错误,难以解释困难的潜台词。然而,在最好的情况下,这些模型可以对故事进行深思熟虑的主题分析。我们还证明了LLM对摘要质量的判断与作者的反馈不匹配。