10、机器学习系统设计与数据集偏移处理

机器学习系统设计与数据集偏移处理

1. 模型性能评估与部署

在训练完机器学习模型后，必须对其性能进行评估。为避免将表现不佳的模型部署给用户，通常会测量特定指标并设定阈值，只有满足这些阈值的模型才能投入生产。

不同类型的模型需要评估不同的指标：
- 回归模型 ：通常关注平均绝对误差（MAE）、均方误差（MSE）、均方根误差（RMSE）和决定系数（R²）。以下是计算线性回归模型均方误差的代码示例：

y_pred = linear_regression.predict(x_test)
print("Linear Regression model MSE:", metrics.mean_squared_error(y_test, y_pred))

• 分类模型 ：会监测准确率、精确率和召回率、F1 分数以及接收者操作特征曲线下面积（AUROC）。

在确定模型适用的阈值时，领域知识非常有帮助。例如，在癌症检测模型中，避免假阴性很重要，因此需要为模型设定更严格的阈值。

在部署模型之前，要确保模型适合生产。设定模型需通过的指标阈值是在部署前验证模型的基本方法。若模型未通过这些标准，应重新进行数据转换和模型训练阶段，直至通过阈值。

2. 模型部署方式

模型部署方式主要有两种：
- 模型嵌入 ：创建包含模型的二进制文件并将其嵌入到应用程序代码中。这种方式在进行预