一、文章主要内容总结
本文聚焦于大型语言模型(LLMs)在新闻标题生成中是否比人类存在更多框架偏见展开研究,主要内容如下:
- 研究背景
- 媒体框架通过选择性强调或淡化某些细节来塑造公众认知,而LLMs在自动化新闻生成中的应用日益广泛,其可能引入或放大框架偏见的问题引发担忧。
- 现有研究多关注人类框架,对LLMs如何内化和重现框架模式的探讨较少。
- 研究方法
- 使用XSUM数据集(BBC新闻摘要),对比27种LLMs(包括开箱即用和微调模型)与人类生成的新闻标题的框架倾向。
- 采用GPT-4系列模型作为“评审团”检测框架,通过关键词分类法分析不同主题(如政治、健康、经济等)的框架差异。
- 核心发现
- 人类与LLMs对比:LLMs生成的框架内容比例普遍高于人类,尤其在政治和社会敏感话题中更为显著。微调可略微降低框架倾向,但部分模型仍存在较高偏见。
- 模型差异:小模型(如T5、BART)框架率低于人类,而大模型(如GPT、LLaMA)