Evaluating Declarative and Procedural Knowledge in Datasets and Large Language Models

本文是LLM系列文章，针对《Meta-Cognitive Analysis: Evaluating Declarative and Procedural Knowledge in Datasets and Large Language Models》的翻译。

摘要

陈述性知识和程序性知识是元认知理论中的两个关键部分，这两个部分在LLM的预训练和推理中具有重要意义。然而，主要由于定义、探究和定量评估方面的挑战，缺乏对这两类知识进行全面比较的分析。在本文中，我们从一个新的角度进行了探索，为LLM提供了基础知识并评估了有效分数。通过对广泛使用的数据集和模型进行广泛的实验，我们得出结论：（1）在大多数任务中，声明性知识的收益大于过程性知识。（2） 只有在具有简单逻辑的推理任务中，程序性知识的利润才大于声明性知识。（3） 随着预训练的进展和规模的增加，模型利用这两种知识的能力显著提高，但速度不同。我们对研究结果进行了详细的分析，这可以为评估和增强大型语言模型提供初步指导。

1 引言

2 相关工作

3 元认知分析方法

4 发现

5 结论

在本文中，我们通过一个新颖的视角对陈述性知识和程序性知识进行了全面的分析。对于每对数据集和模型，我们提供基本事实知识，然后评估该知识效果得分。我们的实验得出了关于这两种类型的知识在不同数据集中的重要性以及不同模型利用它们的功效的深刻结论。这些发现为加强LLM的评估和