深度学习知识梳理（干货满满详解DNN/CNN/RNN）之深度学习网络结构（二）

！！！深度学习知识梳理系列文章汇总！！！
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之神经网络基础（一）
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之深度学习网络结构（二）
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之深度学习网络模型（三）
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之模型训练（四）
深度学习知识梳理（干货满满详解DNN/CNN/RNN）之评估与调参（五）

 前馈网络：

每一层中的神经元接收前一层神经元的输出，并输出到下一层神经元. 整个网络中的信息是朝一个方向传播，没有反向的信息传播，可以用一个有向无环路图表示

前馈网络可以看作一个函数，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射. 这种网络结构简单，易于实现

 记忆网络：

记忆网络，也称为反馈网络，网络中的神经元不但可以接收其他神经元的信
息，也可以接收自己的历史信息. 和前馈网络相比，记忆网络中的神经元具有记
忆功能，在不同的时刻具有不同的状态. 记忆神经网络中的信息传播可以是单向
或双向传递，因此可用一个有向循环图或无向图来表示.
记忆网络可以看作一个程序，具有更强的计算和记忆能力

 图网络：

前馈网络和记忆网络的输入都可以表示为向量或向量序列. 但实际应用中很多数据是图结构的数据，比如知识图谱、社交网络、分子（Molecular ）网络等.

图网络是定义在图结构数据上的神经网络. 图中每个节点都由一个或一组神经元构成. 节点之间的连接可以是有向的，也可以是无向的. 每个节点可以收到来自相邻节点或自身的信息.
下图给出了前馈网络、记忆网络和图网络的网络结构示例，其中圆形节点表示一个神经元，方形节点表示一组神经元：