12、深度学习关键技术：损失曲线、正则化、优化器与多层感知机异常检测

深度学习关键技术：损失曲线、正则化、优化器与多层感知机异常检测

1. 损失曲线（Loss Curve）

损失曲线能够为我们提供关于模型训练过程以及其对新数据泛化能力的大量信息。通常，我们会将数据划分为训练集、验证集和测试集。

1.1 数据集划分

• 训练集 ：用于训练模型。具体而言，我们将训练集数据输入网络，计算损失并执行梯度下降。一个 epoch 代表整个训练数据集完整地通过网络一次。无论使用何种批量大小（批量大小为 1 时是随机梯度下降 SGD，批量大小等于训练样本总数时是批量梯度下降，介于两者之间的是小批量梯度下降），当模型遍历完训练集中的每个样本时，就完成了一个 epoch 的训练。
• 验证集 ：可作为一个盲测集，在每个 epoch 训练结束后用于评估神经网络。其使用方式取决于具体的实现，但理想情况下，它能很好地反映训练过程以及模型的泛化能力。
• 测试集 ：在训练过程完成后用于模型评估。

1.2 损失曲线的作用

损失曲线根据展示方式的不同，显示当前训练损失随迭代次数、优化步骤或 epoch 数的变化情况，其目的是直观展示训练过程中损失的变化。

若要查看生成本节图表的代码，请参考：