【图论】图深度学习读书笔记：绪论

第一章：绪论

1.1 简介

• 为什么要关注图深度学习？
• 为什么要将现实世界的数据表示为图？
• 为什么将深度学习与图联系起来？
• 图深度学习面临哪些挑战？

1.2 图深度学习的动机

1. 为什么尝试将数据表示为图？
   主要有两个原因。首先，图提供了数据的通用表示形式，来自各个领域的系统的数据可以直接表示成图。其次，很多现实问题可以通过图上的计算任务解决，比如：

   • 边的预测：朋友推荐、知识图谱补全，药物相互作用预测；
   • 节点分类：用户分类、交通预测、空气质量预测；
   • 图分类：药物特性预测、蛋白质特性预测、大脑网络分析

2. 图上的节点是自然相连的，这表明节点不是独立的。而传统机器学习方法通常假设数据是独立同分布的。解决这个问题的思路主要有两种（以节点分类为例）：

   • 思路1： 建立一个特定于图的新机制，这种针对图设计的分类问题称为集体分类问题（collective classification）。对于节点来说，不仅要考虑其特征与其标签之间的映射，而且还考虑其邻域相应的映射。
   • 思路2：构建一组特征来表示其节点，在该表示上可以应用传统分类技术。（主导地位，该思路成功的关键是如何为节点构造一组特征，或如何构造节点表示。）

3. 在图上进行深度学习面临的挑战：

   • 节点的邻居可以是任意数量
   • 拓扑结构更为复杂
   • 节点没有固定的顺序

1.3 本书内容

1. 理论基础

• 图论基础：图的矩阵表示、图的性质、复杂图
• 深度学习基础：前馈神经网络、卷积神经网络、循环神经网络、自编码器

2. 网络嵌入

• 简单图上的图嵌入：保留节点共现、保留结构角色、保留节点状态、保留社区结构
• 复杂图上的图嵌入：异质图、二分图、多维图、符号图。。。

3. 图神经网络

• 图滤波：基于谱的图滤波、基于空间的图滤波
• 图池化：平面图池化、层次图池化

4. 图神经网络的鲁棒性与可拓展性

• 鲁棒性
  • 图对抗攻击：白盒攻击、灰盒攻击、黑盒攻击
  • 图对抗防御：对抗训练、图净化、图注意力机制、图结构学习
• 可拓展性：逐点采样法、逐层采样法、子图采样法

5. 其他图上的深度学习模型

• 图上的变分编码器、图上的对抗生成网络、Tree-LSTM。。。

6. 图深度学习的应用（上）

• 自然语言
• 数据挖掘
• 推荐系统

7. 图深度学习的应用（下）

• 计算机视觉
• 生物医疗

8. 图深度学习的研究前沿

• 可表达性
• 更深的图神经网络
  • 过平滑问题：Jumping Knowledge，DropEdge，PairNorm
• 图上的自监督学习
  • 图的结构、节点属性、图结构和节点属性
• 可解释性：样本级的可解释性、模型级的可解释性
• 一些新的应用：图上的组合优化、程序的表达、动态系统

1.4 图特征学习的简要发展史

得到节点的表示形式的两种方法：特征工程和特征学习

• 特征工程：依赖于手工设计的特征，如：节点度的统计信息
• 特征学习：是自动学习节点特征。可以将技术粗略划分为：
  • 图特征选择，以移除节点上的无关和冗余的特征；
  • 图表示学习，目标是生成一组新的节点特征

图特征选择

自动选择一小部分特征，这些子集具有最小的冗余度，但与学习目标有最大相关性。

图表示学习

• 早期阶段：谱聚类、基于图的降维、矩阵分解
  • 谱聚类：将节点嵌入到低维空间，然后在使用传统聚类算法
  • 降维：IsoMap、LLE、eigenmap
  • 矩阵分解：将节点嵌入低维空间，在该空间中可以利用新的节点表示重建邻接矩阵，如：LSI使用SVD学习文档和单词的表示形式、推荐系统
• 网络嵌入，受到了Word2Vec的启发，DeepWalk迈出第一步，后面有三个主要方向
  • 保存节点共现
  • 保存其他类型的信息：节点的结构角色、社区信息、节点状态
  • 设计复杂图的嵌入框架：有向图、异构图、二分图、多维图、有符号图、超图和动态图。
• 图深度学习：空间方法和谱方法

内容来源：《图深度学习》