Frame In, Frame Out: Do LLMs Generate More Biased News Headlines than Humans?

一、文章主要内容总结

本文聚焦于大型语言模型（LLMs）在新闻标题生成中是否比人类存在更多框架偏见展开研究，主要内容如下：

1. 研究背景
   • 媒体框架通过选择性强调或淡化某些细节来塑造公众认知，而LLMs在自动化新闻生成中的应用日益广泛，其可能引入或放大框架偏见的问题引发担忧。
   • 现有研究多关注人类框架，对LLMs如何内化和重现框架模式的探讨较少。
2. 研究方法
   • 使用XSUM数据集（BBC新闻摘要），对比27种LLMs（包括开箱即用和微调模型）与人类生成的新闻标题的框架倾向。
   • 采用GPT-4系列模型作为“评审团”检测框架，通过关键词分类法分析不同主题（如政治、健康、经济等）的框架差异。
3. 核心发现
   • 人类与LLMs对比：LLMs生成的框架内容比例普遍高于人类，尤其在政治和社会敏感话题中更为显著。微调可略微降低框架倾向，但部分模型仍存在较高偏见。
   • 模型差异：小模型（如T5、BART）框架率低于人类，而大模型（如GPT、LLaMA）框架率更高；同一家族中，模型规模与框架率呈中等负相关（Pearson系数-0.4426）。
   • 主题影响：政治新闻的框架率最高，健康与科学等事实性主题框架率最低，但LLMs仍在后者中引入一定偏见；文本长度与框架