2020deep learning on Graphs:a survey被200_2层神经网络可以拟合任何连续函数-优快云博客

本文链接：https://blog.youkuaiyun.com/baozhiqiangjava/article/details/109531604

摘要

深度学习已被证明在从声学，图像到自然语言处理的许多领域都取得了成功。但是，由于图的独特特性，将深度学习应用于普适的图数据并非易事。最近，大量研究工作致力于将深度学习方法应用于图形，从而在图形分析技术方面取得了有益的进步。在本次调查中，我们全面回顾了图上不同类型的深度学习方法。基于现有模型的模型架构和训练策略，我们将其分为五类：图形递归神经网络，图形卷积网络，图形自动编码器，图形强化学习和图形对抗方法。我们
然后主要通过遵循它们的发展历史，以系统的方式对这些方法进行全面的概述。我们还分析了不同方法的差异和组成。最后，我们简要概述了使用它们的应用，并讨论了潜在的未来研究方向。

1 引言

1.1 一个简介

有点像我们的#p，遍历所有序列数目，就是RC干的事情。

深度学习面临的挑战

1 如何最大

2 如何做深。

腾讯是如何解决的？

1.2 图神经网络简介

如何分析图上的数据是困难的。有如下困难，包括图的不规则/异构与否/大规模/整合跨学科知识等困难。

我们主要把图上的深度学习分为以下几类以及其区别

图RNN通过节点级别或图级别的建模状态来捕获图的递归和顺序模式。
GCN在不规则图结构上定义卷积和读出操作，以捕获常见的局部和全局结构模式。
GAE采取低等级的图结构，并采用无监督的方法进行节点表示学习。
图形RL定义了基于图形的动作和奖励，以在遵循约束的同时获得图形任务的反馈。
图对抗方法采用训练技术来增强基于图的模型的泛化能力，并通过对抗攻击测试其鲁棒性。

2.1.5 思考

1 显然，对于输出是一个向量来说。需要有多个输出神经元，那么w如何更新？

2 全连接和部分连接区别？

3 理论证明，两层神经网络可以无限逼近任意连续函数。为什么？单层网络只能够拟合什么函数？单层只能够拟合线性函数，这也就是单层神经网络不能解决异或问题的原因。

但是两层就可以无限拟合？？

首先有结论：

1 分段线性函数可以拟合任意连续函数，如何理解？用这个结论来理解两层神经网络拟合任意参数。

2 在人工神经网络领域的数学观点中，「通用近似定理 (Universal approximation theorem，一译万能逼近定理)」指的是：如果一个前馈神经网络具有线性输出层和至少一层隐藏层，只要给予网络足够数量的神经元，便可以实现以足够高精度来逼近任意一个在 ℝn 的紧子集 (Compact subset) 上的连续函数。

注意，以下为定理，这个定理告诉我们，任意线性有足够高精度逼近一个连续函数。有点像MCMC的理论基础。

3 有点明白了，就是说两层神经网络，但是第一层的神经层，每个神经元都会学到一个函数，那么第二层神经层可以对第一层的神经元学到的函数做一个综合。自然就可以学到了。

举个例子？比如如何学到 $ax^{2}$ ?这个二次函数？通过两层神经元。

2.3 注意力机制

Attention 是一种加权平均 的说法

3 图递归神经网络

1 RNN是什么？为了解决什么问题？如何解决该问题？

2 RNN的基础全连接神经网络是什么？用来干什么？如何干的？

3.1 全连接神经网络+反向传播

3.1 .1 简单介绍

最简单的包括输入层/隐藏层/输出层。输入层是x，隐藏层是x，隐藏层是构建参数，输出层是y。

那么完整的神经网络是什么样的？加上反向传播（把神经网络输出和真实y的loss缩小。）需要拟合参数让loss最小。

在高中的时候，我们如果需要求一个函数最小值，就是求导。但是在这里，我们需要确定最小的loss对应的两个参数w和b。那么偏导上场了，迭代梯度下降求解。

3.1.2 反向传播算法数学推导

先上一个多层感知机的训练。

3.2 RNN的改进

RNN就是说，加了一个w权重矩阵。好像最基本只有一个权重矩阵吧，这里咋有两个？

具体实现方面，注意图中的公式。

4.2 图卷积网络

4.2.1 图卷积和普通卷积的不一样之处

1 普通卷积是针对矩阵、图像等欧式空间数据，图卷积是针对图这种非欧式空间数据。

2 图没有平移不变形，难以用filter去卷积。

4.2.2 为了图卷积之前的基础概念

4.2.2.1 拉普拉斯算子

在欧式空间中，是梯度的散度。

举个例子

4.2.3 图卷积要解决的问题

1 卷积定理，是关于原信号f和卷积g的一个积分运算。可以让原信号f更平滑。是一种信号处理过程。

2

4.2.4 谱方法

在谱空间定义卷积，先把图信号x通过傅里叶变换f到谱域中，在谱空间中定义卷积g。然后经过逆变换得到y= $f^{-1}$ (g*f（x）)。就完成了卷积。

过程：

1

面临困难：

1 拉普拉斯矩阵特征向量求解高

2 求逆也是很高的

3 不是local 特征

跟进研究：

1 利用切比雪夫多项式类近似逼近 $g(\Theta )$ 卷积核。

4.2.5 空间方法

节点是邻域节点的加权求和，谱方法是空间方法的特例。谱方法需要显式的定义卷积核函数到谱空间中，而空间方法不需要知道空间是什么，只需要知道卷积核。

Learning Convolutional Neural Networks for Graphs 是一个好论文。

4.2.6 图注意力网络

就是学习图边上的权重，可以基于相似度attention和基于学习的attention。

1 比如基于相似度的注意力机制需要先验信息

2 基于学习的Attention不需要先验知识

4.2.7 讨论

1 结构在GCN中真的发挥作用了吗？

谱方法是学习网络信号的pattern，而不是图本身的结构。而空间方法只是刻画邻近域其它节点的影响而已。

2 CNN在干的是“网络上下文的学习”，

4 未来有什么应用吗？比如node-level和graph-level，和信号level等。

5 我们真正需要的是图结构和节点特征两个重要的东西，如何量化到矩阵中呢？