可以添加到GNN模型里面的插件

最新推荐文章于 2025-05-10 15:19:48 发布

刘大彪

最新推荐文章于 2025-05-10 15:19:48 发布

阅读量306

点赞数 2

文章标签：深度学习人工智能神经网络图论机器学习

本文链接：https://blog.youkuaiyun.com/jkokj23153/article/details/127352541

版权

目前可以添加到GNN节点分类任务模型中的插件。
AIR插件，可以加深GNN模型的深度，提高精度。
LP插件，标签传播，可以利用节点的节点信息进行传播，提高GNN模型的精度。
C&S插件，也是标签传播算法的中，不过在标签传播之前加入了残差传播，相比于LP插件，这个插件提升的性能更好。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

刘大彪

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

百度7天GNN学习-课件5学习（带文本信息的图+Masked标签传播）

图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖

01-17

229

目录大纲第五课动机 ERNIESage（带有本文信息的图） ERNIESage Node（提取特征，GraphSage聚合） ERNIESage Edge（提取特征，GraphSage聚合） ERNIESage 1-Neighbor（对一阶邻居提取特征、拼接并聚合） ERNIESage落地 UniMP（标签迁移）效果(OGB打榜神器) 动机举例 Masked Label Prediction 模型结构效果大纲第五课动机【节点与边存在.

基于大模型的 SDL 需求阶段安全需求挖掘实战指南 —— 四步法实现从业务需求到风险矩阵的智能转换

大F子的智能小课

02-20

213

通过大模型与四步法的结合，安全需求挖掘效率可提升 60% 以上，同时覆盖 90% 以上的潜在风险。未来可探索多模态模型（如图像识别架构图）进一步突破复杂业务场景的自动化分析瓶颈。

2 条评论您还未登录，请先登录后发表或查看评论

JK-Nets实验记录

智慧的旋风的博客

01-23

1433

1、准备工作按照JK-Nets的paper中的划分方式，训练集（60%）、验证集（20%）、测试集（20%）。数据集划分（数量）训练集（60%）验证集（20%）测试集（20%） Cora 1624 542 542 Citeseer 1995 666 666 Pubmed 11829 3944 3944 超参数也严格遵循了paper中的取值。超参数等训练因素取值/范围 loss_func NLLLoss optimizer Adam lr 0

CS224W：标签传播Label Propagation on Graphs

2301_79012932的博客

08-18

218

 我们讨论了三个明确在图上进行预测时使用标签的想法：▪ 标签传播▪ 直接将已知标签传播到所有节点▪ 正确与平滑▪ 首先定义一个基础预测器，然后用标签传播校正和平滑预测▪ 掩码标签预测▪ 构建一个自监督的机器学习任务，让图机器学习模型传播标签信息 我们讨论了三个用于处理图上机器学习任务的框架 节点嵌入▪ 将节点嵌入到欧几里得空间，并在嵌入空间中使用距离度量来近似节点相似性 图神经网络▪ 迭代式的邻域聚合 标签传播▪ 归纳偏见：同质性。

Re1：读论文 C&S (Correct and Smooth) Combining Label Propagation and Simple Models Out-performs Graph Ne

诸神缄默不语的博客

07-13

1896

Re1: 读论文 C&S (Correct and Smooth) 1. 模型构造思路 2. Notation和模型介绍 2.1 notation 2.2 模型介绍 2.2.1 Predictor 2.2.2 Correct阶段 2.2.3 Smooth阶段 3. 详细的数学推导和证明 4. 实验结果 5. 代码实现和复现 5.1 论文官方实现 5.2 PyG官方实现 5.3 我自己写的复现 5.4 复现实验结果对比 6. 参考资料

GNN for NLP综述

hang916的博客

11-21

895

深度学习已经成为处理自然语言处理（NLP）中各种任务的主要方法。尽管文本输入通常表示为一系列标记，但有大量的NLP问题可以用图结构最好地表达。因此，为大量NLP任务开发新的图深度学习技术的兴趣激增。在这项调查中，我们对用于NLP的图神经网络（GNN）进行了全面综述。我们提出了一种新的NLP GNN分类法，它沿着三个轴系统地组织了NLP GNNs的现有研究：图构建、图表示学习和基于图的编码器-解码器模型。我们进一步介绍了大量利用GNN功能的NLP应用程序，并总结了相应的基准数据集、评估指标和开源代码

NLP实践demo，包含了文本分类，对话机器人，Transformer, GPT实现，图神经网络GNN使用，对抗训练，摘要抽取等

10-27

6. **对抗训练**：对抗训练是一种增强模型鲁棒性的方法，通过向输入添加微小扰动来训练模型，使其能够抵御攻击。在NLP中，对抗训练常用于提高模型对恶意文本的识别能力。 7. **摘要抽取**：自动文本摘要旨在提取...

图神经网络简介，什么是图神经网络，GNN

热门推荐

一起躺躺躺的博客

05-13

3万+

distill博客：A Gentle Introduction to Graph Neural Networks (distill.pub) 什么是图？图是由一些点和一些线构成的，能表示一些实体之间的关系，图中的点就是实体，线就是实体间的关系。如下图，v就是顶点，e是边，u是整张图。attrinbutes是信息的意思，每个点、每条边、每个图都是有信息的。怎么表示一张图，可以参考下面这个例子每个顶点、边和整张图都可以用一个向量来表示，在这个例子中，顶点的向量有六个值，柱体的高矮就表示该值的.

图数据库、知识图谱、装配模型

02-17

1990

工业装配知识图谱属于行业知识图谱，具有较高的专业性，图数据库是实现知识图谱存储的方式之一。图数据库（Graph Database）是基于图论实现的一种新型NoSQL数据库。它的数据存储结构和数据的查询方式都是以图论为基础的。图论中图的基本元素为节点和边，在图数据库中对应的就是节点和关系。Neo4j是Java开源图数据库。

【Neo4j 】学习笔记：GraphRAG 宣言：为 GenAI 添加知识

突围

07-15

934

GraphRAG 宣言：为 GenAI 添加知识

【论文笔记】C&S

zzy979481894的博客

09-29

667

Combining Label Propagation and Simple Models out-Performs Graph Neural Networks 2021 ICLR 论文链接：https://arxiv.org/pdf/2010.13993 官方代码：https://github.com/CUAI/CorrectAndSmooth DGL实现：https://github.com/dmlc/dgl/tree/master/examples/pytorch/correct_and_smooth

【GNN】JK-Net：深层 GNN 架构

阿泽的学习笔记

06-09

4697

今天学习的是 MIT 同学 2018 年的论文《Representation Learning on Graphs with Jumping Knowledge Networks》，发表于 ICML，目前共有 140 多次引用。目前的图表示学习都遵循着领域聚合的方式，但这种方式的层数无法增加，kipf 的 GCN 使用了两层模型，随着深度增加会出现 over-smooth 的问题，导致性能下降。为了更好的学习邻居的结合和属性，作者提出了一种叫跳跃知识的网络（Jumping Knowledge Netwo

Facebook@ICLR2021 比GNN快100倍的标签传播

weixin_45519842的博客

02-02

314

图神经网络（GNN）是学习图的主要技术，并且已经得到非常广泛的应用。但是GNN训练往往需要大量的参数且训练时间很长。这里我们可以通过组合忽略图结构的浅层模型和利用标签结构相关性的两个简单...

性能超越图神经网络，将标签传递和简单模型结合实现SOTA

AI科技大本营

11-04

481

译者 | 刘畅出品 | AI科技大本营头图| 优快云付费下载自视觉中国图神经网络（GNNs）是图学习中一种主流的技术。然而，对于GNN为什么在实际使用中很成功以及它们是否是优异性能所...

训练时间和参数量百倍降低，直接使用标签进行预测，性能竟超GNN

zandaoguang的博客

11-04

362

选自arXiv作者：Qian Huang等机器之心编译机器之心编辑部将传统标签传播方法与简单模型相结合即在某些数据集上超过了当前最优 GNN 的性能，这是康奈尔大学与 Facebook ...

论文解读：《自增强GNN:利用模型输出改进图神经网络》

weixin_45156147的博客

05-28

1319

DOI：https://arxiv.org/abs/2002.07518 期刊：MACHION LEARNING（3区）影响因子：2.445 发布时间：2021年4月19日代码：https://github.com/yang-han/Self-Enhanced_GNN 摘要图神经网络因其在基于图的任务中的优异性能而受到广泛关注。然而，现有的关于神经网络的研究主要集中在设计更有效的模型上，而没有过多考虑输入数据的质量。在本文中，作者提出了自增强GNN (SEG)，它利用现有GNN模型的输出来提高输入数

图机器学习——4.3 节点分类：Correct & Smooth （C&S）

Kanny

12-05

3506

Correct & Smooth （C&S） 1）方法介绍如今，图神经网络（GNN）是图学习方面的主要技术，在很多图结构相关的预测任务上取得了最顶尖的成绩，但在节点分类任务上，Correct & Smooth （C&S）可谓异军突起，通过基础浅层模型和“矫正”与“光滑”两个基于标签传播的后处理步骤即可达到甚至超越当前主流 GNNs 模型的性能，并且参数量和训练及运行时间远低于复杂的 GNNs 结构。下图为截至当前（2021/11/21）最顶尖的图中的节点分类方法排名，数据

Pycharm（十九）深度学习

higerwy的博客

05-06

1206

深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。深度学习、机器学习和人工智能之间的关系如下图所示：深度学习⊆机器学习⊆人工智能优点：1）精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类；2）随之计算机硬件的发展，可以近似任意的非线性函数；3）近年来在学界和业界受到了热捧，有大量的框架和库可供调。缺点：1）黑箱。

Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）

最新发布

weixin_46277779的博客

05-10

1133

大模型图中抽取关系

03-14

<think>好的，用户的问题是关于如何从图中抽取关系，特别是使用大模型的技术方法和工具。首先，我需要明确用户的需求。他们可能已经了解了一些基础的关系抽取方法，比如从文本中提取实体和关系，但现在关注的是图结构数据中的关系抽取。这可能涉及到知识图谱中的图结构，或者像社交网络、分子结构这样的图数据。接下来，我要考虑用户提到的“图中抽取关系”具体指什么。如果是知识图谱中的图，可能需要图嵌入或者图神经网络（GNN）的方法来提取关系。如果是像社交网络这样的图，可能需要社区检测或链接预测技术。用户还提到了大模型的应用，比如使用预训练模型来处理图数据，这可能涉及到将图结构与自然语言处理结合的方法。然后，我需要回顾相关的技术方法。比如，图嵌入技术如DeepWalk、Node2Vec可以将图中的节点和关系表示为向量，方便后续分析。图神经网络如GAT、GCN可以直接处理图结构，捕捉复杂的模式。大模型方面，像Graph-BERT或者结合Transformer的模型可能适用。此外，多模态方法可能需要处理文本和图的结合，比如使用BERT提取文本特征，再与图结构融合。工具方面，用户提到了spaCy，但那是处理文本的。对于图数据，可能需要推荐像NetworkX、PyTorch Geometric、DGL这样的库。还有知识图谱工具如Neo4j、APOC插件，以及大模型框架如HuggingFace Transformers和Deep Graph Library。用户可能还需要了解具体的步骤，比如数据预处理、模型选择、训练和优化。同时，应用场景如知识图谱补全、社交网络分析、生物信息学等，可以帮助他们理解如何应用这些方法。最后，我需要确保回答结构清晰，分点列出技术方法和工具，并提供相关引用。还要生成相关问题，覆盖评估、多模态处理、工具比较、应用场景和伦理问题，以帮助用户进一步探索。</think>### 大模型从图中抽取关系的技术方法与工具 #### 1. **基于图嵌入的关系抽取** - **技术原理**：将图中的节点（实体）和边（关系）映射到低维向量空间，通过向量运算捕捉关系语义。例如，使用$DeepWalk$或$Node2Vec$生成节点嵌入，再通过分类模型预测关系[^1]。 - **工具示例**： - **PyTorch Geometric**：支持图神经网络（GNN）和图嵌入算法。 - **Gensim**：实现Word2Vec扩展的图嵌入模型。 #### 2. **图神经网络（GNN）方法** - **技术原理**：通过消息传递机制聚合邻域信息，直接建模图结构中的复杂关系。例如，图注意力网络（$GAT$）可动态分配邻域节点权重，捕捉关键关系。 - **代码片段**： ```python import torch from torch_geometric.nn import GATConv model = GATConv(in_channels=128, out_channels=64, heads=3) ``` #### 3. **大模型与图结构结合** - **技术方法**： - **图感知预训练**：将图结构信息融入大模型（如$BERT$），例如通过添加图卷积层或关系编码模块[^1]。 - **多模态输入**：联合处理文本描述和图结构（如知识图谱），用大模型对齐两类数据特征[^2]。 - **工具示例**： - **HuggingFace Transformers**：支持扩展预训练模型以处理图数据。 - **Graph-BERT**：专为图数据设计的预训练框架。 #### 4. **知识图谱专用工具** - **Neo4j + APOC插件**：支持从图数据库中直接抽取关系路径，并通过Cypher查询语言分析关系模式。 - **OpenKE**：开源工具包，提供TransE、RotatE等知识图谱嵌入算法，支持关系预测任务。 --- ###