11、卷积神经网络的设计、实现与评估

卷积神经网络的设计、实现与评估

1. 卷积神经网络架构设计

在设计卷积神经网络（ConvNet）时，虽无绝对的黄金法则，但有一些实用的经验法则，这些法则在许多成功的架构中都能找到。

1.1 基本架构组成

ConvNet 通常由几个卷积 - 池化层，随后连接几个全连接层构成，最后一层为输出层。从图论的角度看，ConvNet 是一个具有单个叶节点的有向无环图（DAG），图中的每个节点代表一个层，边表示层与层之间的连接。

1.2 设计规则

• 特征图尺寸计算 ：要始终计算 DAG 中每个节点的特征图大小。通常，连接到全连接层的节点空间尺寸小于 8×8，常见的尺寸有 2×2、3×3 和 4×4 ，不过连接到全连接层的节点的通道数（第三维）可以是任意大小。
• 特征图数量与深度关系 ：特征图的数量通常与 DAG 中每个节点的深度直接相关。早期层的特征图数量较少，随着节点深度的增加，特征图数量增多。但也有一些扁平架构，所有层的特征图数量相同或呈重复模式。
• 卷积滤波器尺寸 ：先进的 ConvNet 常用 3×3、5×5 和 7×7 的卷积滤波器，其中 AlexNet 是唯一使用过 11×11 卷积滤波器的网络。
• 激活函数位置 ：激活函数通常紧跟在卷积层之后，但也有将其放在池化层之后的做法。
• 连续层设置 ：连续设置多个卷积层是合理的，但连续添加两个或更多激活函数