Is External Information Useful for Stance Detection with LLMs?

文章主要内容总结

本文研究了外部信息（如维基百科摘录、网页搜索结果）对大型语言模型（LLMs）在立场检测任务中的影响，主要内容如下：

1. 研究背景：立场检测任务旨在判断文本对目标的立场（支持、反对、中立）。现有研究表明外部信息对BERT类模型的立场检测有提升作用，但LLMs在该任务中是否受益于外部信息尚未明确。
2. 实验设计：通过8个LLMs（涵盖开源和闭源，如Llama-3.1-8B、GPT-4o mini等）在3个数据集（COVID-19-Stance、P-Stance、SemEval 2016 Task 6）上的实验，对比有无外部信息时的性能。外部信息包括维基百科、网页搜索结果，以及注入了支持/反对立场的合成信息。
3. 核心发现：
   • 外部信息在大多数情况下会降低LLMs的立场检测性能，宏观F1分数最多下降27.9%；
   • 原因是LLMs倾向于采纳外部信息的立场或情感，而非文本本身的真实立场（通过净采纳率NAR和有害采纳率HAR量化）；
   • 思维链（CoT）提示对缓解该问题作用有限，微调虽能减轻但无法完全消除负面影响。

文章创新点

1. 结论与现有研究的对比：与此前BERT类模型中外部信息提升性能的结论相反，首次系统证明外部信息会损害LLMs的立场检测性能，揭示了LLMs特有的信息偏误风险。
2. 机制分析