【Graph vs Transformer】Transformer是GNN的一种特例

目录

1、简介

2、Transformer和GNN关系？

NLP 中的表示学习

Transformer 故障

多头注意力机制

尺度问题和前向传播子层

GNN 构建图展示

句子就是全连接词语的图

可以从 Transformers 和 GNN 学到什么？

为什么采用多头注意力？

3、GNN、Transformer和Graphormer关系？

GNN与Transformer的关系

1. 从连接结构的角度看

2.从公式的角度看

Transformer的简单介绍

简单地介绍一下GNN

GNN与Transformer的公式对比

Graph Transformer是什么 & 关联？

1. Graph Transformer是什么

2. Graph Transformer与GAT， Transformer之间的区别/关联

3. 为什么会有Graph Transformer

相对GNN、GAT的优缺点对比

相对Transformer的优缺点对比

Graph Transformer的简单回顾

早期的Graph Transformer

早期Graph Transformer的进阶1

早期Graph Transformer的进阶2

两篇经典Graph Transformer来入门之预告版

4、代码理解Graphormer（graph+transformer）

Preliminary

Graph Neural Network:

Transformer

Challenge

Graphormer

Centrality Encoding（中心性编码）

Spatial Encoding（空间编码）

Edge Encoding（边信息编码）

不足及展望方向

5、参考

---

1、简介

最近研读Transformer后，发现和GNN极其相似，于是开始调研他们之间的关系

2、Transformer和GNN关系？

Transformer和GNN有什么关系？一开始可能并不明显。但是通过这篇文章，你会从GNN的角度看待Transformer的架构，对于原理有更清楚的认知。

选自NTU Graph Deep Learning Lab，作者：Chaitanya Joshi，机器之心编译，参与：一鸣、