Evaluating Large Language Models Against Human Annotators in Latent Content Analysis: Sentiment, Pol

最新推荐文章于 2026-11-11 13:00:00 发布

原创最新推荐文章于 2026-11-11 13:00:00 发布 · 8 阅读

0 GEO检测

LLM Daily 专栏收录该内容

3844 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本研究系统评估7种前沿大语言模型（含8种变体）与33名人类标注者在情感、政治倾向、情感强度和讽刺检测四个维度的可靠性、时间一致性及分析质量。采用Krippendorff's alpha、ICC、t检验和ANOVA等统计方法，结果表明LLMs在情感与政治倾向分析中可媲美人类，情感强度评估一致性更高但评分偏低，讽刺检测能力普遍不足；GPT-4在多数维度表现最优，所有LLMs均展现优异的时间稳定性。

### 主要内容

1. **研究背景与目的**：数字化时代产生大量文本数据，潜在内容分析意义重大，大语言模型（LLMs）可实现分析自动化，但缺乏多维度与人类标注者对比评估。本研究旨在对比 LLMs 与人类标注者在情感、政治倾向、情感强度和讽刺检测方面的可靠性、一致性和质量，提出四个研究问题。
2. **研究方法**：选取 33 名精通英语的人类标注者和 7 种前沿 LLMs（8 种变体），对 100 条精心挑选的文本进行标注。文本涵盖情感、政治倾向、情感强度和讽刺检测四个维度，每个维度 25 条。人类标注者依据详细说明在 Likert 5 分制量表上进行标注；为 LLMs 设计标准化提示，让其按相同量表评估。使用多种统计软件，通过计算 Krippendorff's alpha 评估评分者间信度，计算组内相关系数（ICC）评估 LLMs 随时间的一致性，进行 t 检验和方差分析（ANOVA）对比 LLMs 与人类标注者的分析质量。
3. **研究结果**：在情感分析和政治倾向评估中，人类和 LLMs 都表现出较高可靠性，LLMs 内部一致性更强；情感强度方面，LLMs 一致性高于人类，但人类对情感强度的评分显著更高；讽刺检测上，两者一致性都低。所有 LLMs 在各维度都有出色的时间一致性。在质量对比上，情感分析和政治倾向评估中 LLMs 与人类表现相近，情感强度和讽刺检测存在差异。不同 LLMs 在可靠性、一致性、一致性水平和可比性上存在显著差异，GPT-4 及其变体在部分维度表现更优。
4. **研究结论**：LLMs 在情感分析和政治倾向评估方面可有效替代人类，但在情感强度和讽刺检测上存在局限，仍需人类专业判断。未来研究可从增强情感理解、改进讽刺检测技术、减轻模型偏差和拓展文化背景等方面展开。

### 创新点

标签