Evaluating Declarative and Procedural Knowledge in Datasets and Large Language Models-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139289990

本文通过元认知分析探讨大型语言模型（LLM）中的声明性知识和程序性知识，发现声明性知识在多数任务中的效果优于程序性知识，但在具有简单逻辑的推理任务中，程序性知识更优。随着预训练规模的扩大，模型对两种知识的利用能力提升，但提升速度不同。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Meta-Cognitive Analysis: Evaluating Declarative and Procedural Knowledge in Datasets and Large Language Models》的翻译。

摘要

陈述性知识和程序性知识是元认知理论中的两个关键部分，这两个部分在LLM的预训练和推理中具有重要意义。然而，主要由于定义、探究和定量评估方面的挑战，缺乏对这两类知识进行全面比较的分析。在本文中，我们从一个新的角度进行了探索，为LLM提供了基础知识并评估了有效分数。通过对广泛使用的数据集和模型进行广泛的实验，我们得出结论：（1）在大多数任务中，声明性知识的收益大于过程性知识。（2）只有在具有简单逻辑的推理任务中，程序性知识的利润才大于声明性知识。（3）随着预训练的进展和规模的增加，模型利用这两种知识的能力显著提高，但速度不同。我们对研究结果进行了详细的分析，这可以为评估和增强大型语言模型提供初步指导。