8、神经网络入门：架构、高级主题与基准数据集

神经网络入门：架构、高级主题与基准数据集

1. 卷积神经网络与预训练模型

卷积神经网络的灵感来源于对猫视觉皮层生物机制的观察，并充分利用了像素间的空间关系。这也表明，对神经科学的深入理解可能有助于人工智能方法的发展。

1.1 预训练卷积神经网络的使用

从公开资源（如图像网 ImageNet）获取的预训练卷积神经网络，通常可以直接用于其他应用和数据集。具体操作步骤如下：
1. 保留大部分预训练权重 ：除了最终分类层外，使用卷积网络中大部分预训练好的权重，不做更改。
2. 学习最终分类层权重 ：根据手头的数据集学习最终分类层的权重。因为特定场景中的类别标签可能与 ImageNet 不同，所以训练最终层是必要的。而早期层的权重仍然有用，因为它们学习了图像中的各种形状，几乎适用于任何类型的分类应用。
3. 用于无监督应用 ：倒数第二层的特征激活甚至可用于无监督应用。例如，将每张图像通过卷积神经网络，提取倒数第二层的激活值，为任意图像数据集创建多维表示。然后对该表示应用任何类型的索引，以检索与特定目标图像相似的图像。由于网络学习到的特征具有语义性质，这种方法在图像检索中通常能取得惊人的效果。现在，使用预训练卷积网络非常流行，很少有人从头开始训练。

1.2 预训练模型使用流程

graph LR
    A[获取预训练卷积网络] --> B[保留大部分预训练权重]
    B --> C[学习最终分类层权重]
    C --&g