大模型论文 | GraphAgent：支持十万级节点图谱生成，性能提升 90.4%

GraphAgent：支持十万级节点图谱生成，性能提升 90.4%

发布时间：2024 年 10 月 13 日

LLM-Based Multi-Agent Systems are Scalable Graph Generative Models

图生成在多个领域中备受关注，但传统方法在动态图演化中表现不佳。我们推出了 GraphAgent-Generator（GAG），一个无需 LLM 训练的模拟框架，能有效捕捉图的宏观结构，并在图扩展任务中超越现有方法 11%。GAG 还能生成包含近 10 万节点和千万条边的复杂图，加速比高达 90.4%。
源代码已公开：https://github.com/Ji-Cather/GraphAgent
https://arxiv.org/pdf/2410.09824

一、为什么需要 LLM-Based Multi-Agent Systems？

1.1 传统图生成方法的局限性

传统的图生成方法主要分为两类：基于规则的方法和基于深度学习的方法。基于规则的方法通过预设规则生成图，虽然能够捕捉特定的宏观网络特性，但缺乏灵活性和泛化能力。例如: 随机图模型（Erdős-Rényi 模型）虽然简单，但难以生成具有真实世界网络特性的图。

另一方面，基于深度学习的方法，如自回归模型（GraphRNN）和一次性生成模型（GraphVAE），虽然在拟合微观图结构上表现出色，但在生成超出训练数据集规模的大图时面临挑战，且难以在复杂网络增长过程中保持宏观特性。例如，GraphRNN 在生成大规模图时，往往会出现结构失真的问题。

1.2 社会图生成的现实需求

社会图作为实体间交互的抽象表示，能够通过模拟人类与物品的交互来探索网络演化机制。例如，在社交网络中，用户之间的关注关系可以表示为图中的边，而用户的兴趣和行为则可以通过节点的属性来描述。然而，现有的方法难以同时满足图生成的灵活性和规模需求。随着大语言模型（LLMs, Large Language Models）的出现，LLM-Based Multi-Agent Systems 提供了一种新的解决方案，能够通过模拟人类行为生成动态、文本属性的社会图。例如，LLM 可以模拟用户在社交平台上的发帖、评论和关注行为，从而生成具有真实世界特性的社交网络图。

1.3 LLM-Based Multi-Agent Systems 的优势

LLM-Based Multi-Agent Systems 利用预训练的社会共识知识，通过模拟节点和边的生成过程，生成符合现实网络特性的图。这种方法不仅能够生成大规模的图，还能在生成过程中保持图的宏观和微观特性，显著提升了图生成的效果。例如，GraphAgentGenerator（GAG）框架通过模拟作者与论文的交互，生成了符合幂律分布的引用网络，同时在微观结构上保持了较高的聚类系数。此外，GAG 支持生成近 10 万个节点或 1000 万条边的大规模图，并通过并行加速技术将生成速度提升了至少 90.4%。

二、LLM-Based Multi-Agent Systems 的技术解析

2.1 核心框架：GraphAgentGenerator (GAG)

GraphAgentGenerator (GAG) 是一个基于大语言模型（Large Language Model, LLM）的框架，旨在通过模拟人类行为生成动态的、带有文本属性的社会图。GAG 的核心思想是通过 LLM-Based Agents 模拟人类与物品的交互过程，逐步生成图的节点和边。与传统的基于规则或深度学习的图生成方法不同，GAG 通过模拟真实的交互过程，能够生成符合现实网络特性的图。

GAG 的框架分为三个主要步骤：节点初始化、交互模拟和图投影。首先，GAG 初始化演员节点和物品节点，然后通过多轮交互模拟生成新的节点和边，最后通过图投影生成不同类型的子图。这种模拟方法不仅能够捕捉到网络的宏观特性（如幂律分布和小世界现象），还能在微观层面生成复杂的图结构。

2.2 节点生成与交互模拟

在 GAG 中，节点生成过程包括初始化演员节点和物品节点。演员节点由 LLM-Based Agents 扮演，模拟不同的社会角色，如作者、电影观众或社交媒体用户。物品节点则代表论文、电影或推文等实体。每个演员节点在模拟过程中会根据其记忆和环境反馈生成新的物品节点和边。

例如，在科学文献场景中，演员节点扮演作者，物品节点代表论文。作者会根据其研究兴趣生成新的论文，并引用其他论文，从而形成论文引用网络。通过多轮模拟，GAG 能够生成符合现实网络特性的图，如幂律分布和小世界现象。

2.3 并行加速技术

为了支持大规模的图生成，GAG 采用了并行加速技术。通过将演员节点分组并并行处理，GAG 能够显著提升模拟速度，最小加速比达到 90.4%。具体来说，GAG 将演员节点和物品节点分为多个组，每个组在不同的 CPU 核心上并行运行，从而减少了模拟时间。

例如，在生成包含 10 万节点或 1000 万边的大规模图时，GAG 通过并行加速技术将模拟时间从数小时缩短到几分钟。这种高效的并行处理能力使得 GAG 能够处理现实世界中的大规模网络生成任务。

三、LLM-Based Multi-Agent Systems 的应用评估

3.1 图结构对齐评估

在宏观层面，GAG 生成的图表现出七种关键的网络特性，包括幂律分布、小世界现象和收缩直径。这些特性是真实世界网络中常见的结构特征。

3.1.1. 幂律分布（Power-law Distribution）

想象一下，在一个社交平台上，有些用户拥有成千上万的粉丝，而大多数用户只有几十个粉丝。这种现象就是幂律分布。在幂律分布的网络中，少数节点（比如那些超级明星）拥有大量的连接，而大多数节点只有很少的连接。GAG生成的网络也遵循这种分布，这意味着它能够模拟现实世界中常见的“少数人拥有大量资源”的现象。

3.1.2. 小世界现象（Small-world Phenomenon）

“六度分隔理论”：指任何两个人之间最多通过六个人就能建立联系。这就是小世界现象。在GAG生成的网络中，节点之间的平均距离很短，但同时又保持着较高的聚类系数（即朋友的朋友也是朋友的概率很高）。这意味着，即使网络很大，信息也能快速传播。

3.1.3. 缩小的直径（Shrinking Diameter）

随着网络的增长，节点之间的平均距离（直径）会逐渐缩小。这就像是你加入了一个新的社交圈子，很快就能认识更多的人。GAG生成的网络也表现出这种特性，随着网络的扩展，节点之间的距离变得更短。

3.1.4. 周期性变化（Periodic Variation of Degree）

在某些网络中，节点的连接数会随着时间呈现出周期性的变化。比如，电影评分网络中的评分数量可能会在电影上映期间达到高峰，然后逐渐下降。GAG生成的网络也能模拟这种周期性变化，使得网络更加贴近现实。

3.1.5. 巨型连通组件（Giant Connected Component, GCC）

在一个网络中，如果大部分节点都通过某种路径连接在一起，就形成了一个巨型连通组件。GAG生成的网络在演化过程中，会逐渐形成一个这样的巨型组件，这意味着网络中的大部分节点都是相互连通的。

3.1.6. 友谊悖论（Friendship Paradox）

友谊悖论说的是，你的朋友往往比你拥有更多的朋友。在GAG生成的社交网络中，大多数节点的邻居节点的平均连接数都比自己高，这正好符合友谊悖论的现象。

3.1.7. 密集连接核心（Densely Connected Core, DCC）

在现实世界的网络中，通常存在一个由少数高连接节点组成的密集连接核心。这些节点在网络中扮演着“枢纽”的角色，如果移除它们，网络可能会被分割成多个不连通的部分。GAG生成的网络也包含这样的密集连接核心，这使得网络结构更加紧凑和稳定。

在微观层面，在图的扩展任务中，GAG 生成的图在 GEM（Graph Expansion Metric）指标上显著优于其他方法，提升了 11%。GEM 指标综合考虑了图的度分布、聚类系数等微观结构特征，表明 GAG 能够更准确地模拟真实网络的演化过程。

3.2 文本属性对齐评估

通过节点分类基准任务，GAG 展示了其在捕捉文本与图结构之间复杂关系方面的有效性。节点分类任务旨在根据节点的文本特征预测其类别，GAG 在该任务中的平均准确率保留比基线方法提高了 1.45。这一结果表明，GAG 生成的图不仅结构上符合真实网络，还能有效保留文本与结构之间的关联。

例如，在科学文献网络中，GAG 生成的图能够准确捕捉论文之间的引用关系，同时保留论文的文本特征（如标题、摘要等）。这种文本与结构的对齐使得 GAG 生成的图在后续的图神经网络（GNN）任务中表现优异。

3.3 可扩展性评估

GAG 支持生成多达近 100,000 个节点或 1000 万条边的图，通过并行加速技术，模拟速度提升了至少 90.4%。这种可扩展性使得 GAG 能够处理大规模的网络生成任务，而现有的图生成方法通常只能处理几千个节点的图。

例如，在社交网络模拟中，GAG 能够生成包含 10 万用户的图，模拟用户之间的互动行为（如关注、点赞等）。通过并行加速技术，GAG 能够在短时间内完成大规模图的生成，显著提高了模拟效率。

总的来说，GAG 通过结合大语言模型（LLM）和多智能体模拟技术，能够生成结构复杂、文本丰富的动态图，同时保持较高的可扩展性和效率。这一方法为网络科学和人工智能领域的研究提供了新的工具和思路。

• 论文原文: https://arxiv.org/pdf/2410.09824

---

四、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方优快云官方认证二维码，免费领取【保证100%免费】