14、机器学习模型训练模式与有用过拟合策略

机器学习模型训练模式与有用过拟合策略

1. 典型训练循环

机器学习模型通常采用迭代方式进行训练，这个迭代过程被非正式地称为训练循环。机器学习模型可以使用不同类型的优化方法进行训练。决策树通常基于信息增益度量逐节点构建；在遗传算法中，模型参数以基因形式表示，优化方法基于进化理论。不过，确定机器学习模型参数最常用的方法是梯度下降。

1.1 随机梯度下降

在处理大型数据集时，梯度下降法会应用于输入数据的小批量，用于训练从线性模型、提升树到深度神经网络（DNNs）和支持向量机（SVMs）等各种模型，这种方法被称为随机梯度下降（SGD）。SGD及其扩展（如Adam和Adagrad）是现代机器学习框架中事实上的优化器。

由于SGD要求在训练数据集的小批量上进行迭代训练，因此机器学习模型的训练会在一个循环中进行。SGD能找到一个最小值，但它不是一个封闭形式的解，所以我们必须检测模型是否已经收敛。因此，需要监控训练数据集上的误差（称为损失）。如果模型复杂度超过了数据集的规模和覆盖范围所能承受的程度，就可能会出现过拟合现象。不幸的是，在实际在特定数据集上训练模型之前，你无法知道模型复杂度是否过高。因此，需要在训练循环中进行评估，并且还需要监控训练数据中预留的一部分（称为验证数据集）上的误差指标。由于训练数据集和验证数据集都已在训练循环中使用，因此有必要再预留训练数据集的另一部分（称为测试数据集），以报告在新的、未见过的数据上可能预期的实际误差指标，此评估在最后进行。

1.2 Keras训练循环

Keras中的典型训练循环如下所示：

model = k