Applying Large Language Models to Characterize Public Narratives

文章主要内容与创新点总结

一、主要内容

本文聚焦公共叙事（Public Narratives, PNs）的系统化分析难题，提出了一种基于大型语言模型（LLMs）的计算框架，实现对公共叙事的自动化定性标注与分析。

1. 公共叙事的核心定义与价值：公共叙事是领导力发展和公民动员的关键工具，由"自我故事（SoS）、我们故事（SoU）、当下故事（SoN）"三个核心要素构成，且每个要素均遵循"挑战→选择→结果"的基础结构，其目标是通过叙事整合策略、动机与行动，激发集体行动。该框架已在奥巴马2008年总统竞选等场景中展现出强大的动员效果，但长期面临主观解读明显、专家标注成本高、难以规模化分析的问题。

2. 研究方法与数据构建：

   • 联合6位领域专家共同开发了包含14个代码（涵盖分类代码、结构代码、内容代码三类）的标注手册，为人工标注和自动化分析提供统一标准；
   • 收集了哈佛肯尼迪学院领导力课程22名参与者的公共叙事样本，转录后进行句级分割，并随机选取8个样本由两位专家完成人工标注，作为性能评估基准；
   • 测试了多款LLM（包括gpt-4o-mini、o3-mini）在不同提示策略下的标注效果，最终采用"思维链+提示链（COT + PROMPT CHAINING）"的最优配置。

3. 核心实验结果：

   • LLM标注性能：o3-mini模型在14个代码上的平均F1值达