Large Language Models Are Better Logical Fallacy Reasoners with Counterargument, Explanation

主要内容

1. 研究背景：逻辑谬误检测在自然语言处理中仍处于早期阶段，大语言模型在检测逻辑谬误方面存在挑战，此前也缺乏通过提示工程或无监督方法解决该问题的尝试。
2. 研究方法：提出一种新颖的两步提示制定过程，利用反论点、解释和目标等隐含上下文信息，自动生成结构化提示，包括生成上下文增强、重新制定查询、计算查询的置信度分数以及基于提示排名的分类四个步骤。
3. 实验评估：在五个涵盖不同领域和29种谬误类型的数据集上，使用GPT和LLaMA系列模型，对比多种基线方法进行实验。结果表明，该方法在无监督和有监督设置下均显著优于基线和现有模型。
4. 进一步分析：通过基于置信度分数的性能分析、校准分析、排名信息影响分析、查询结构影响分析以及与其他利用隐含信息方法的对比分析，探究了该方法表现优异的原因和方式。
5. 研究结论：该提示制定方法有效，结合基于置信度分数的提示排名，能提高逻辑谬误检测性能，但研究存在数据集局限性、对特定模型的依赖、可解释性不足以及类不平衡等问题 。

创新点

1. 结构化提示设计：有效整合三种隐含上下文信息，通过基于置信度的提示排名系统，增强模型分