11、卷积网络的拓展应用与TensorFlow实践

卷积网络的拓展应用与TensorFlow实践

1. 图卷积

传统的卷积算法通常期望输入为矩形张量，例如图像、视频或句子。然而，对于不规则输入，能否将卷积进行泛化呢？卷积层的核心概念是局部感受野，在图像输入中，每个神经元基于其局部感受野内的相邻像素进行计算。但对于像无向图这样的不规则输入，这种简单的局部感受野概念就不再适用，因为不存在相邻像素。

如果能为无向图定义一个更通用的局部感受野，那么就有可能定义接受无向图的卷积层。如图所示，图由通过边连接的节点集合组成。一种可能的局部感受野定义是，它由一个节点及其相邻节点（通过边连接的节点）组成。基于这种局部感受野的定义，可以定义广义的卷积层和池化层，这些层可以组合成图卷积架构。

图卷积架构在化学领域特别有用，因为分子可以被建模为无向图，其中原子作为节点，化学键作为边。例如，图卷积架构可用于处理分子输入，帮助进行化学机器学习任务。

2. 变分自编码器生成图像

前面介绍的应用都是监督学习问题，有明确的输入和输出，任务是使用卷积网络学习一个将输入映射到输出的复杂函数。那么，卷积网络能否解决无监督学习问题呢？无监督学习需要“理解”输入数据点的结构，对于图像建模来说，一个衡量是否理解输入图像结构的好方法是能够“采样”来自输入分布的新图像。

以狗图像数据集为例，采样新的狗图像意味着生成一张不在训练数据中的新狗图像，即一张合理情况下可能包含在训练数据中但实际上没有的狗图像。

变分自编码器可以解决这个问题。它由两个卷积网络组成：编码器网络和解码器网络。编码器网络将图像转换为一个扁平的“嵌入”向量，解码器网络则将嵌入向量转换回图像。为了确保解码器能够采样不同的图像，会添加噪