Mr.Zhao-优快云博客

原创 Graph Intelligence with Large Language Models and PromptLearning

如图1所示，LLM和图技术的融合已被证明对各种基于图的领域内的一系列应用是有效的。根据[9]中提出的框架，我们组织了一个详细的第一级分类法，该分类法对LLMs的角色进行了分类-例如增强子，预测子和比对子-在整个模型架构中，为初始分类引入了更大的特异性。例如，考虑一个图的特征矩阵X = {R1，· · ·，R2} ∈R1 ×R3，其中R2 ∈ R1×R3表示第n个节点的特征，R3表示特征空间维数。在接下来的部分中，我们将深入研究分类法中每个主要类别的全面调查，讨论LLM到以图为中心的任务中的集成。

2024-11-04 14:55:04 673

原创 Can GNN be Good Adapter for LLMs?

【摘要】在图域中，各种真实场景也涉及文本数据，其中任务和节点特征可以通过文本描述。这些文本属性图（TAG）在社交媒体，推荐系统等方面有着广泛的应用，因此，本文探讨了如何利用LLM来建模TAG。以前的TAG建模方法是基于百万级LM的。当规模扩大到十亿级LLM时，它们面临着计算成本的巨大挑战。此外，他们还忽略了LLM的zero-shot推理能力。。在效率方面，GNN适配器只引入了几个可训练的参数，并且可以以低计算成本进行训练。整个框架使用节点文本上的自回归（下一个token预测）进行训练。

2024-10-23 18:25:43 1831

原创探索大型语言模型（LLM）在图形学习中的潜力

【摘要】本文旨在探索LLMs在图机器学习，特别是节点分类任务中的潜力，并研究了两种可能的管道：LLMs作为增强器和LLMs作为预测器。前者利用LLM的海量知识增强节点的文本属性，然后通过GNN生成预测。后者试图直接使用LLM作为独立的预测因子。本文对这两条管线在不同的环境条件下进行了全面系统的研究。从综合的实证结果中，我们做出了原创性的观察，并发现了新的见解，打开了新的可能性，并建议了有希望的方向，以利用有限线性模型的学习图。

2024-10-21 19:06:08 1758

原创 Can we Soft Prompt LLMs for Graph Learning Tasks?

【摘要】图在描述社交网络、生物数据和引文网络等现实应用中的复杂关系方面发挥着重要作用。近年来，大型语言模型（LLM）在各个领域取得了巨大的成功，这使得将LLM应用于图特别有吸引力。然而，直接将LLM应用于graph modalities提出了独特的挑战，因此，为了进一步研究LLM理解图形信息的潜力，我们引入了Graphicenter，这是一个旨在通过软提示将图形信息与LLM对齐的新框架。

2024-10-21 15:18:12 626

原创 Ordered GNN: Ordering Message Passing to Deal with Heterophily and Over-Smoothing

【摘要】大多数图神经网络遵循消息传递机制。然而，当多次消息传递应用于图时，它面临过度平滑问题，导致不可区分的节点表示，并阻止模型有效地学习更远节点之间的依赖关系。另一方面，具有不同标签的相邻节点的特征可能被错误地混合，从而导致异质性问题。在这项工作中，我们建议将消息传递到节点表示中，特定的神经元块针对特定跳内的消息传递。这是通过将中心节点的根树的层次结构与其节点表示中的有序神经元对齐来实现的。在大量数据集上的实验结果表明，我们的模型可以同时在同质和异质环境中实现最先进的技术，而无需任何有针对性的设计。

2024-10-18 10:43:14 1857

原创 Graph+LLM

为了打破这一困境，通过一个名为 GraphTranslator 的翻译器连接预训练的 GM 和 LLM，旨在利用 GM 有效地处理预定义任务，并利用 LLM 的扩展接口为 GM 提供各种开放式任务。在本文中，我们旨在探索 LLM 在图机器学习中的潜力，特别是节点分类任务中，并研究两种可能的流程：LLM 作为增强器和 LLM 作为预测器。然后，我们讨论了在图上使用 LLM 的详细技术，包括 LLM 作为预测器、LLM 作为编码器和 LLM 作为对齐器，并比较了不同模型的优缺点。

2024-10-15 17:56:32 888

原创 Can Language Models Solve Graph Problems in Natural Language?

大型语言模型(LLM)越来越多地被用于具有隐式图形结构的各种任务，例如机器人中路径规划、多跳问题回答或知识探索、结构化常识推理等。虽然LLMS已经在这些具有结构含义的任务上取得了进展，但LLMS是否能够明确地处理graph和结构的文本描述，将它们映射到扎根的概念空间，以及执行结构化操作，仍然缺乏探索。为此，我们提出了NLGRAP(Natural Language Graph)，这是一个用自然语言设计的基于图的问题解决的综合基准。

2024-10-10 20:18:30 866 1

weixin_44758224的博客