Probing the Difficulty Perception Mechanism of Large Language Models

该文章聚焦大语言模型（LLMs）的难度感知机制，通过线性探针和注意力头分析，证实LLMs能内隐编码数学问题难度，还定位了负责难度感知的特定注意力头，为自动难度标注提供了实践支持。

一、文章主要内容

1. 研究背景：当前LLMs在复杂推理任务中应用广泛，但内部评估问题难度的能力尚不明确，而这对自适应推理和高效资源分配至关重要。现有外部评估方法（如依赖推理长度）易受误导，且缺乏可解释性；内部感知研究也未明确注意力头模式。
2. 研究方法
   • 高维线性探针：利用DeepMath数据集（含人工标注难度的数学题）训练线性回归探针，该探针通过LLMs最后一个token的嵌入向量预测问题难度，验证LLMs在高维空间中对难度的线性表征能力。
   • 注意力头模式识别：通过选择性注意力消融构建头级难度归因框架，计算不同难度样本下各注意力头的难度得分差异，定位对简单和困难问题敏感的特定注意力头。
   • 消融实验：对Qwen2.5-7B-Instruct模型中定位出的注意力头进行干预（增强或抑制），验证其对模型难度感知的影响，同时还进行了token级难度感知与熵的对比研究。
3. 实验结果