Reading Subtext: Evaluating Large Language Models on Short Story Summarization with Writers

本文探讨了GPT-4、Claude-2.1和LLama-2-70B等大型语言模型在总结短篇小说方面的表现。研究发现,尽管模型在某些情况下能进行主题分析,但多数摘要存在忠实错误,尤其在理解潜台词方面。通过与作者合作和叙事理论分析,揭示了模型与人类评估之间存在的不匹配问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Reading Subtext: Evaluating Large Language Models on Short Story
Summarization with Writers》的翻译。

阅读潜台词:与作家一起评价短篇小说摘要的大型语言模型

摘要

我们评估了最近的大型语言模型(LLM)在总结短篇小说这一具有挑战性的任务上的表现,短篇小说可能很长,包括微妙的潜台词或混乱的时间线。重要的是,我们直接与作者合作,以确保故事没有在网上分享(因此模型看不到),并使用作者自己的判断获得对摘要质量的知情评估。通过基于叙事理论的定量和定性分析,我们比较了GPT-4、Claude-2.1和LLama-2-70B。我们发现,这三种模型在超过50%的摘要中都会出现忠实错误,难以解释困难的潜台词。然而,在最好的情况下,这些模型可以对故事进行深思熟虑的主题分析。我们还证明了LLM对摘要质量的判断与作者的反馈不匹配。

1 引言

2 相关工作

3 作家与数据

4 摘要生成

5 人类评估

6 结果

7 讨论

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值