A Multifaceted Analysis of Negative Bias in Large Language Models through the Lens of Parametric ...

文章总结与翻译

一、主要内容

该研究聚焦大型语言模型（LLMs）在二元决策任务（如是非问答）中的负向偏差问题，即模型过度生成否定性响应（No）的倾向。研究从参数知识视角出发，通过多维度分析揭示负向偏差的核心影响因素与作用机制，主要内容如下：

1. 负向偏差的定义与本质：提出“格式层面的负向偏差”概念，指出模型的否定性响应更受提示格式影响，而非响应的语义内涵。例如，在直接要求“回答是/否”时，模型更倾向于输出“No”，即便语义上应选择肯定答案。
2. 基于参数知识的数据集构建：设计了一套评估集构建流程，将数据集按模型参数知识状态划分为三类子集：具备正确知识（parametric）、具备错误知识（counter-parametric）、缺乏相关知识（absent），并转换为是非问答（YNQA）和多项选择问答（MCQA）两种格式。
3. 负向偏差的关键发现：
   • 缺乏相关知识（absent子集）时，负向偏差最为显著，模型会因知识不足而采取“捷径行为”，优先输出否定性响应。
   • 负向偏差与模型规模无强相关性，是独立于模型大小的问题。
   • 不同提示策略对偏差影响不同：提供相关上下文、增加“我不知道”（IDK）选项可缓解偏差；而思维链（CoT）提示会放大偏差。
   • 提示格式显著影响偏差程度：将是非问答转换为简单多项选择格式（如YNMCQA），可同时降低偏差并提升加权F1分数。
4. 机制分