Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning

本文是LLM系列文章，针对《Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning》的翻译。

摘要

随着对大型语言模型（LLM）的新研究不断进行，很难跟上新的研究和模型。为了帮助研究人员综合这项新研究，许多人撰写了调查论文，但即使是这些论文也变得越来越多。在本文中，我们开发了一种自动将综述论文分配给分类法的方法。我们收集了144篇LLM综述论文的元数据，并探讨了在分类法中对论文进行分类的三种范式。我们的工作表明，在两种范式中，利用共范畴图上的图结构信息可以显著优于语言模型；预训练的语言模型的微调和使用LLM的零样本/少搜索分类。我们发现，我们的模型超过了人类的平均识别水平，并且使用较小模型（如本研究中的GCN）生成的弱标签对LLM进行微调可能比使用基本事实标签更有效，从而揭示了分类任务中弱到强泛化的潜力。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中，我们的目标是开发一种方法，将有关大型语言模型（LLM）的综述论文自动分配到分类法中。为了实现这一目标，我们首先收集了144篇LLM调查论文的元数据，并为这些论文提出了一个新的分类法。我们进一步探索了三种范式，将调查论文分类为所提出的分类法中的类别。在研究了三种类型的属性图后，我们观察到利用共范畴图上的图结构信息可以显著帮助分类法分类。此外，我们的分析验证了图表示学习优于预训练的语言模型的微调、使用LLM的零样本/少搜索分类，甚至超过了人类的平均识别水平。最后但并非最不重要的是，我们的实验表明，使用由较弱的模型（如GCN）生成的弱标签来微调预