Large Language Models for Sentiment Analysis to Detect Social Challenges: A Use Case with South A...

一、文章主要内容总结

该研究聚焦于利用大型语言模型（LLMs）对南非社交媒体帖子进行情感分析，以识别社会挑战。核心内容包括：

1. 研究背景与目标：南非作为多语言国家（12种官方语言），低资源语言的情感分析工具匮乏，而社会挑战的精准识别对政府施策至关重要。研究旨在评估主流LLMs在英语、塞佩迪语（Sepedi）和茨瓦纳语（Setswana）中的零样本情感分析性能，覆盖就业、卫生、教育等10个南非政府重点关注的议题。
2. 实验设计：
   • 数据集：构建SAGovTopicTweets语料库，包含16,787条三种语言的社交媒体帖子（原Twitter数据），均匀覆盖10个议题。
   • 模型选择：测试GPT-3.5、GPT-4、LLaMa 2、PaLM 2、Dolly 2五种主流LLM，并采用多数投票法融合模型输出。
   • 评估指标：以人工标注为基准，计算情感分类错误率和F1分数，同时定义“整体情感分数”（范围-1至+1，衡量议题需干预的紧急程度）。
3. 核心结果：
   • 单模型性能：GPT-4表现最优（整体错误率8.2%），其次是PaLM 2（9.2%），GPT-3.5、LLaMa 2、Dolly 2性能相近（整体错误率11.5%-12.5%）。
   • 融合模型优势：多模型融合后错误率降至0.2%-0.9%，F1分数达97.5%，显著优于传统深度学习方法（如BERT的F1分数82.7%-86.0%）。
   • 语言与议题差异