CNN常见网络结构 (总结2)

1.1序贯结构:

        序贯结构是出现较早,最为常见和典型的结构。序贯结构包含单输入与单输
出,其神经网络由网络层堆叠而成。每一个网络层仅以上一层网络的输出为输入,
并将经过处理后的输出送给下一层。序贯结构的典型代表模型是VGG系列网络,
VGG-16网络的网络结构展示在图2-6中。 早期的网络由于梯度弥散的问题,无法
堆叠很深。随着“ReLU”激活函数与更为科学的权重初始化策略的提出,序贯
结构可以堆叠较深。但过深的网络仍然会出现训练困难甚至是网络退化 [9] 的问题。
网络退化指的是随着网络层数的加深,网络性能反而出现下降的现象。虽然如此,
序贯结构因其形式简单,易于训练和调整,仍然作为一种经典结构被广泛使用。

 

1.2自编码结构:

        自编码结构指的是网络的输出试图重构网络输入的一种结构,形式上它可以
是序贯的全连接网络或卷积网络,如卷积自编码器 ,也可以是含有跨层连接的
复杂形态,如梯式自编码器 [56] 。自编码结构通常被认为是深度学习中的无监督学
习模型,但严格来讲,它属于一种特殊的有监督学习,称为“自监督”学习。自
编码器的主要作用是学习原始数据在另一空间(通常维度更低)更加高效的表示,
与主成分分析(PCA)的作用类似。使用自编码结构网络还可以用于图像去噪、
图像超分辨处理 [57] 等应用领域。图2-7展示了最简单的自编码器的工作原理。