Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning

本文是LLM系列文章，针对《Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning》的翻译。

摘要

随着对大型语言模型（LLM）的新研究不断进行，很难跟上新的研究和模型。为了帮助研究人员综合这项新研究，许多人撰写了调查论文，但即使是这些论文也变得越来越多。在本文中，我们开发了一种自动将综述论文分配给分类法的方法。我们收集了144篇LLM综述论文的元数据，并探讨了在分类法中对论文进行分类的三种范式。我们的工作表明，在两种范式中，利用共范畴图上的图结构信息可以显著优于语言模型；预训练的语言模型的微调和使用LLM的零样本/少搜索分类。我们发现，我们的模型超过了人类的平均识别水平，并且使用较小模型（如本研究中的GCN）生成的弱标签对LLM进行微调可能比使用基本事实标签更有效，从而揭示了分类任务中弱到强泛化的潜力。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中，我们的目标是开发一种方法，将有