Is External Information Useful for Stance Detection with LLMs?

文章主要内容和创新点

主要内容

本文研究了外部信息（如维基百科摘录、网页搜索结果）对大型语言模型（LLMs）在立场检测任务中的影响。立场检测的目标是判断文本对特定目标的立场（支持、反对或中立）。

• 核心发现：与基于BERT的模型不同，外部信息会显著降低LLMs的立场检测性能，宏F1分数最高下降27.9%。
• 原因分析：LLMs的预测倾向于受外部信息的立场和情感影响，导致预测偏离文本的真实立场（通过“净采纳率NAR”和“有害采纳率HAR”量化，发现LLMs更可能采纳外部信息的立场，且这种采纳更多导致错误预测）。
• 扩展实验：思维链（CoT）提示策略无法缓解性能下降；微调能减轻但不能完全消除这一问题。

创新点

1. 首次系统评估LLMs与外部信息的关系：对比8种LLMs和3个数据集（12个目标），发现外部信息对LLMs的负面影响，与此前BERT类模型的结论相反。
2. 提出量化分析指标：通过NAR（净采纳率）和HAR（有害采纳率），揭示LLMs对外部信息立场和情感的“采纳偏向”及其危害性。
3. 探索缓解策略的局限性：验证了CoT提示和微调对减轻负面影响的效果有限，强调LLMs中信息偏差的风险。

翻译部分（markd