11、机器学习模型的鲁棒监测与管理及AI治理标准概述

机器学习模型的鲁棒监测与管理及AI治理标准概述

一、机器学习模型监测与管理

1.1 ML效能评分与数据漂移检测

ML效能（MLE）评分用于衡量模型预测结果的准确性，分数越高，模型预测能力越强。通常通过比较预测值与实际值来计算MLE分数，如结合均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R²）进行评估。当R²在前后数据集间存在显著差异（如0.64）时，重新训练基于先前数据集构建的模型可能提升其性能。

此前使用开源的数据漂移检测器进行数据漂移检测，它小巧且用户友好，适用于名义DataFrame比较。接下来将介绍另一个开源工具Evidently。

1.2 使用Evidently进行房价数据漂移检测

Evidently是面向数据科学家和机器学习工程师的开源资源，可用于评估、测试和监控机器学习模型的性能。它采用模块化方法，适用于表格和文本数据，除共享指标功能外，还提供三种接口。该库易于实现，可按说明安装并下载完整代码库。

以加利福尼亚住房数据集为例进行漂移检测，该数据集包含1990年加利福尼亚州住房街区的八个特征及中位数房价，具体特征如下：
| 特征 | 含义 |
| ---- | ---- |
| MedInc | 中位数收入 |
| HouseAge | 中位数房龄 |
| AveRooms | 每户平均房间数 |
| AveBedrms | 每户平均卧室数 |
| Population | 群体人口 |
| AveOccup | 每户平均成员数 |
| Latitude | 街区组纬度 |
| Longi