12、深度学习：从多层感知机到卷积神经网络

深度学习：从多层感知机到卷积神经网络

1. 深度学习基础与MNIST数据集实践

在处理多类别分类问题时，我们采用了分类交叉熵损失函数。以MNIST数据集为例，由于数据质量良好，，在训练，在仅进行一轮训练就取得了相当不错的结果。

在训练模型时，MNIST数据集为我们提供了训练和测试数据。同时，我们还设置了0.33（即33%）的验证集分割比例。这意味着我们仅使用了67%的训练数据进行训练，并使用33%的数据对模型进行验证。训练结果会展示训练准确率、损失以及验证准确率和损失。通常，我们会调整诸如层数和每层神经元数量等超参数，以观察验证准确率是否有所提高。

测试数据集用于评估我们的模型并建立基准。代码的最后一行对模型在测试数据上进行评估，结果显示准确率达到了96.53%。如果我们选择新的架构或算法，这个准确率将成为我们要超越的基准！

2. 训练集、验证集、测试集与过拟合、欠拟合

在构建新模型时，始终使用单独的训练集和验证集，并分别计算模型在每个数据集上的准确率，这一概念被称为交叉验证。其核心思想是让模型在一组数据上进行训练，然后在其从未见过的新数据集上评估其指标，以此来判断模型的有效性。

有一种在行业中广泛应用的交叉验证方法，即K折交叉验证。其做法是将完整数据集划分为K个组，在每次迭代中，使用其中一个组作为验证集，其余数据用于训练。通过这种方式，不断改变模型学习的“未见”数据，随着时间推移，模型会变得更加有效。

• 过拟合 ：如果在训练数据上获得高准确率，但在验证数据上的准确率较低，那么模型可能在训练数据上过拟合。这意味着模型学习到了特定于训练数据的