Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers?

本文是LLM系列文章，针对《Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers?》的翻译。

摘要

大型语言模型（LLM）在广泛的任务中表现出了卓越的性能。然而，这些模型对不同复杂性的任务进行编码的机制仍然知之甚少。本文探讨了LLM在不同层处理不同复杂性概念的假设，引入了“概念深度”的概念，表明更复杂的概念通常是在更深的层获得的。具体来说，我们根据概念的抽象程度对其进行分类，按照事实、情感和推理任务中复杂性的增加顺序对其进行定义。我们在跨越三个任务领域的各种数据集上，使用不同LLM家族（Gemma、LLaMA、QWen）的分层表示进行了广泛的探测实验。我们的研究结果表明，模型可以有效地在浅层对更简单的任务进行探测，而更复杂的任务通常需要更深的层才能准确理解。此外，我们还研究了外部因素（如向输入中添加噪声和量化模型权重）如何影响逐层表示。我们的研究结果表明，在探索更深层次之前，这些因素可能会阻碍对LLM概念理解的发展。我们希望我们提出的概念和实验见解将加深对LLM潜在机制的理解。我们的代码可在https://github.com/Luckfort/CD上。

1 引言

2 相关工作

3 分析方法

4 实验设置

5 实验分析

6 讨论

7 结论

本文提出了概念深度，即不同概念在大型语言模型的不同层中学习的现象，即