Large Language Models Could Be Rote Learners

### 主要内容

1. **研究背景**：大语言模型（LLMs）发展迅速，基于选择题（MCQ）基准的评估方法广泛应用，但基准污染问题影响评估可靠性。
2. **研究方法**
- **预调查**：将 MMLU 基准测试集的 MCQ 分为记忆和非记忆子集，通过对比模型在不同子集上的准确率，发现 LLMs 在记忆的 MCQ 上表现更差，表明存在死记硬背和真正能力学习两种现象。
- **量化记忆**：提出一种基于生成序列中低概率词元的记忆量化指标\(F_{m}\)。
- **TrinEval 评估框架**：将 MCQ 重新组织为知识实体、属性和上下文的三元组形式，减少记忆影响，通过计算\(F_{c}=p_{G}\left(x_{W} | x_{E}, x_{A}, x_{C}, x_{O}\right)\)衡量模型真正能力。
3. **实验结果**
- **知识保留验证**：TrinEval 重新组织的问题能保留关键信息，使用 Qwen 和 GPT 验证，发现重新组织后正确回答的问题大多在原始格式中也能正确回答。
- **减少记忆验证**：在不同记忆唤起条件下，TrinEval 格式的\(F_{m}\)曲线低于原始 MCQ 格式，证明能有效减少记忆影响。
- **记忆与能力关系**：通过分析\(F_{m}\)和\(F_{c}\)，发现 LLMs 记忆与解决问题能力呈负相关，记忆越多表现越差。
4. **研究结论**：重新审视基准污染问题，提出 TrinEval 评估框架，揭示 LLMs 知识学习的不稳健性，为后续研究奠定基础。
5. **研究局限**：TrinEval 不是动态重组方法，存在训练数据泄露风险；未深入探究 LLMs 记忆与能力关系的机制。

### 创新点