15、机器学习模型评估与预测服务全解析

机器学习模型评估与预测服务全解析

1. 测试数据集评估与训练服务偏差

在评估训练好的模型时，我们可以使用 score 方法计算模型在测试数据集上的平均准确率。示例代码如下：

cls.score(X_test, y_test)

初始时，模型的准确率可能约为 48%，这一结果并不理想，甚至可能不如随机猜测。问题出在训练模型前对训练特征进行了 0 到 1 的缩放，但测试数据集未进行相同转换，导致模型训练和评估时数据范围不一致，这就是典型的训练服务偏差（training-serving skew）。

为解决此问题，我们需要对测试数据集进行相同的缩放。使用之前训练时的 MinMaxScaler 转换器，调用 transform 方法进行转换，代码如下：

X_test_scaled = scaler.transform(X_test)
cls.score(X_test_scaled, y_test)

经过缩放后，模型准确率应能达到约 80%，这表明在训练和评估时进行相同的数据转换至关重要，预测时也需如此。同时，记录数据转换过程并利用工具（如 scikit-learn 中的管道）确保转换的一致性也很关键。

2. 分类评估指标

准确率是分类模型常用且易理解的指标，但仅使用准确率评估模型存在问题。例如，模型准确率约为 80%，而一个仅预测无客户流失的