Narratives to Numbers: Large Language Models and Economic Policy Uncertainty

文章总结与翻译

一、主要内容

本文聚焦大语言模型（LLMs）在经济政策不确定性（EPU）指数构建中的应用，以Baker、Bloom和Davis（2016）提出的经典EPU指数框架为研究基础，通过对比关键词法、支持向量机（SVM）与LLMs的分类效果，论证了LLMs在文本量化分析中的优势，并拓展了其在历史文本和多语言场景下的应用。

1. 核心研究设计：将文本到指数的映射过程拆解为“文本表征-标签预测-指数聚合”三步，系统对比不同分类器（关键词法、SVM、LLMs）在文章级分类精度、指数层面一致性及泛化能力上的表现，同时探究决策阈值、聚合方式对最终指数的影响。
2. 关键研究发现：
   • LLM在文章级分类中表现最优，F1分数相对关键词法提升46%，召回率从45%提升至82%，且预测概率与人类审核者的确定性评估高度契合；
   • LLM构建的EPU指数与人类审核基准的相关性显著高于传统方法（LLM平均相关性0.76-0.78，关键词法仅0.24-0.47），且通过阈值优化可平衡数据质量与数量；
   • LLM具备强泛化能力，能处理19世纪含OCR误差的历史报纸文本（构建了首个19世纪美国EPU指数），且单模型经英语数据微调后可支持29种语言的EPU分类，成功构建非洲GDP加权指数和孟加拉国指数。
3. 研究价值：为实证经济学提供了更精准、灵活的文本量化工具，同时拓展了EPU指数的时间覆盖（回溯至19世纪）和地理范围（覆盖发展中国家及小语种地