12、深度学习中的损失曲线、正则化、优化器与多层感知机异常检测

深度学习中的损失曲线、正则化、优化器与多层感知机异常检测

1. 损失曲线

损失曲线能为我们揭示模型的训练过程以及其对新数据的泛化能力。我们通常会将数据划分为训练集、验证集和测试集。训练集用于训练模型，具体来说，我们将训练集数据输入网络，计算损失并执行梯度下降。

一个epoch代表整个训练数据集完整地通过网络一次。无论使用何种批量大小（批量大小为1时是随机梯度下降SGD，批量大小等于训练样本总数时是批量梯度下降，介于两者之间的是小批量梯度下降），只要模型遍历了训练集中的每个样本，就完成了一个epoch的训练。

验证集可作为一个“盲测”集，在每个epoch训练完成后用于评估神经网络。其具体使用方式取决于实现，但理想情况下，它能很好地反映训练过程以及模型的泛化能力。测试集则在训练过程结束后用于模型评估。

损失曲线会根据你选择的显示方式，展示当前训练损失随迭代次数、优化步骤或epoch的变化情况，其目的就是直观呈现训练过程中损失的变化。

若要查看生成本节图表的代码，请参考： https://github.com/apress/beginning-anomaly-detection-python-deep-learning-2e/blob/master/Chapter%205%20Introducti