Graphormer

最新推荐文章于 2025-06-08 10:59:53 发布
原创 最新推荐文章于 2025-06-08 10:59:53 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#图神经网络 #Transformer

本文思考如何将Transformer的主体结构应用到图结构数据上。

作者认为将Transformer应用到图上最关键问题是如何适合地将图的结构信息整合到模型之中。自注意力机制只计算了节点和其他节点的语义相似性，而没有考虑图上节点的结构信息和节点对之间的关系。

 

作者采用了如下三种方式对结构信息进行编码

Centrality Encoding

中心性编码，用来衡量节点的重要性，通过节点的入度和出度来得到中心性编码

 

​是基于入度和出度的可学习向量，如果是无向图，则出度等于入度。将其与原始节点特征相加作为输入。

Spatial Encoding

空间编码。序列数据空间信息固定，方便位置编码，而图的空间结构依赖于边的连接。作者使用最短路径来作为自注意力的偏置，以此来捕获结构信息

 

最低0.47元/天 解锁文章
公开催化剂挑战赛冠军模型、通用AI分子模拟库Graphormer开源！
微软技术栈
10-20 1028
新一代对图（Graph）数据进行建模的深度学习模型
论文笔记-graphormer
chenxino的博客
09-20 1245
transformer在图表征中的运用。
GraphEngine2.0版本 Windows编译环境配置
BenDerPan的专栏
05-14 367
GraphEngine2.0版本 Windows编译环境配置 ================================= 环境配置步骤： 安装VisualStudio2017：勾选Python环境, .NetCore SDK 2.0 ，Windows 10 SDK（10.0.15063.0）, 将Python以及Pip添加到环境变量： python： 3. ...
Graph上的Transformer：Graphormer
白景屹的博客
04-01 1975
Graphomer
Graphormer 的理解、复现及应用——理解
热门推荐
GSM_GSM的博客
07-12 1万+
Transformer 在NLP和CV领域取得颇多成就，近期突然杀入图神经网络竞赛，并在OGB Large-Scale Challenge竞赛中取得第一名的成绩。 Graphormer作为实现算法实现的主要架构，已经在Do Transformers Really Perform Bad for Graph Representation?（https://arxiv.org/abs/2106.05234）进行了详细的介绍。本博文主要是在讲解翻译一下该文章的基础上加入一些博主自己的理解，并对Graphorm.
Graphormer：图神经网络的结构化革命
qq_43664407的博客
06-08 1343
Graphormer通过三大革命性创新重塑图神经网络：​​理论层面突破​建立图结构与Transformer的数学映射证明拓扑编码的WL-test等价性解决三维几何信息与离散图的融合难题​​技术架构创新​首创结构化位置编码框架实现边特征与注意力的深度整合构建多尺度图依赖建模能力开发几何感知的连续空间编码​​应用场景革新​药物研发：分子生成成功率提升至92%材料科学：晶体结构预测速度提升100倍社交网络：跨社群影响力建模精度89%交通规划：路网流量预测误差<4%
精选资源
Graphormer:这是“变形金刚对图形表示真的很糟糕吗？”的官方实现。
07-24
Graphormer 在 PCQM4M-LSC（ 0.1234 MAE ）、MolPCBA（测试值为31.39 AP(%) )、MolHIV（测试值为80.51 AUC(%) ）和 ZINC（测试值为0.122 MAE on test 80.51 AUC(%)上取得了强劲的性能，比之前的模型高出一倍大保证...
Graphormer代码解读-spatial pos
kongbaifeng的博客
03-01 1468
Graphormer
【图-注意力笔记，篇章2】Graphormer 和 GraphFormers论文笔记之两篇经典Graph Transformer来入门
xiaobaizaza_Ry的博客
03-02 1万+
Graphormer和GraphFormer论文的相关介绍及笔记
Graphormer（图上Transformer） Do Transformers Really Perform Bad for Graph Representation？
tagagi的博客
11-26 2385
这个模型是KDD Cup 2021 OGB-LSC（Open Graph Benchmark Large-Scale Challenge）图预测赛道第一名： KDD Cup 2021 | 微软亚洲研究院Graphormer模型荣登OGB-LSC图预测赛道榜首 论文地址： https://arxiv.org/abs/2106.05234 论文代码： https://github.com/Microsoft/Graphormer 内容：提出了图上的Transformer，命名为Graphorm...
【亲测免费】 Graphormer: 探索图神经网络的新边界
gitblog_00049的博客
03-24 540
在机器学习领域，图神经网络（GNN）因其处理非欧几里得数据的强大能力而备受关注。Microsoft的Graphormer项目正是对这一领域的杰出贡献，它为复杂的图学习任务提供了更高效、更准确的解决方案。 ## 项目简介 Graphormer是微软研发的一个先进图神经网络模型，旨在提升大规模图结构数据的处理效率和精度。这个项目借鉴并扩展了Transformer架构，成功将注意力机制引入到图学习中...
探索分子科学新边界：Graphormer - 深度学习的分子建模工具
gitblog_00176的博客
08-08 619
![Graphormer Logo](docs/logo-10.png) Graphormer 是一个深度学习框架，专为研究和开发人员设计，旨在加速分子科学中的AI应用，如材料发现和药物发现。这个项目由微软研究团队推出，其目标是让研究人员能够轻松训练自定义模型，以处理复杂分子建模任务。 ### 高级预训练模型，只在 Azure Quantum Elements 上可用 Graphormer ...
图形变换器在PyTorch几何中的实现：Graphormer-PYG指南
gitblog_00673的博客
09-02 859
图形变换器在PyTorch几何中的实现：Graphormer-PYG指南 项目介绍 Graphormer-PYG 是一个基于 PyTorch Geometric 的微软 Graphormer 实现。Graphormer 是一种用于图数据处理的Transformer架构模型，它有效地捕捉了节点间复杂的图结构信息。此项目由 leffff 开发，并优化了原始 Graphormer 在 PyTorch ...
Transformer再下一城！MSRA提出用于图结构数据的Graphormer！斩获OGB-LSC图预测赛道冠军...
阿木寺的博客
06-21 1216
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：微软研究院AI头条编者按：在刚刚结束的由 KDD Cup 2021 和 Open Graph Benchma...
Graphormer：Transformer用于图预测任务
zuiyishihefang的博客
05-10 1679
文章信息 文章题为“Do Transformers Really Perform Bad for Graph Representation?”，该文章发表于2021年NeurIPS会议上。文章提出Graphormer图预测任务。摘要 Transformer架构已经成为许多领域的主导选择，例如自然语言处理和计算机视觉。此外，与主流GNN变体相比，它在流行的图级预测排行榜上的表现并不具有竞...
Graphormer复现碎碎念
guanjian6334的博客
05-23 2969
一：简介 Graphormer：https://github.com/microsoft/Graphormerhttps://github.com/microsoft/Graphormer 二、安装 使用./install.sh安装，前面是pip直接安装whl依赖，而fairseq该工具还没有集成自whl，因此是在fairseq目录下复制fairseq的git，再编译集成。 我在使用下面的安装命令时（用于安装fairseq）报错了，报错为：option --use-feature: invalid
【亲测免费】 Graphormer 安装与使用指南
gitblog_00653的博客
08-08 1231
Graphormer是微软研究院推出的一个深度学习框架，专注于分子建模任务。它提供了训练自定义模型的能力，用于各种分子模拟工作。Graphormer基于Transformer架构设计，能够处理图数据结构，特别适用于分子和化学领域的研究和开发。 ### 特点： - **通用性**：适用于多种分子建模场景。 - **灵活性**：可以轻松修改和扩展以适应不同需求。 - **效率**：优化了训练过程，...
【Graphormer阅读笔记、实验与刷榜】《Do Transformers Really Perform Bad for Graph Representation?》
智慧的旋风的博客
08-09 5821
Graphormer阅读笔记——chx paper：https://arxiv.org/abs/2106.05234 code：https://github.com/microsoft/Graphormer （main分支） Graphormer主要策略 1. Transformer结构 主要有Transformer layer组成，每一层包括MHA（多头自注意）和FFN（前馈）模块，并增加了LN。 h′(l)=MHA(LN(h(l−1)))+h(l−1)h(l)=FFN(LN(h′(l)))+h′(
Graphormer跑数据和踩坑记录
Algabeno的博客
09-04 1376
pip版本太低，需要更新pip install --upgrade pip。将这些图和标签列表组合成一个单一的DGL数据集对象。使用自己的数据转化成与QM9数据集类似的数据结构。读取CSV文件，创建DGL图和标签列表。版本问题，需要更新到python3.9。出现这个就把num_class设为2。不过后面还是不行，就没用预训练模型。
graphormer复现
最新发布
10-28
要复现Graphormer模型，可按以下要点进行操作。 Graphormer作为实现算法的主要架构，在论文 “Do Transformers Really Perform Bad for Graph Representation?” 中有详细介绍，有相关博文在讲解翻译该文章基础上...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值