14、回归与分类算法：逻辑回归与Softmax回归详解

回归与分类算法：逻辑回归与Softmax回归详解

1. 模型训练中的早期停止策略

在模型训练过程中，我们常常希望找到最优的训练轮次，以避免过拟合。以下是一段使用随机梯度下降（SGD）进行多项式回归训练，并实现早期停止策略的代码：

minimum_val_error = float("inf")
best_epoch = None
best_model = None
for epoch in range(1000): 
    sgd_reg.fit(X_train_poly_scaled, y_train)  # continues where it left off 
    y_val_predict = sgd_reg.predict(X_val_poly_scaled) 
    val_error = mean_squared_error(y_val, y_val_predict) 
    if val_error < minimum_val_error: 
        minimum_val_error = val_error 
        best_epoch = epoch 
        best_model = clone(sgd_reg)

上述代码的执行流程如下：
1. 初始化最小验证误差为正无穷，最佳轮次和最佳模型为 None 。
2. 进行1000轮训练，每一轮中：
- 使用SGD继续上一轮的训练。
- 对验证集进行预测。
- 计算验证误差。
- 如果当前验证误差小于最