8、机器学习模型性能与效率问题检测

机器学习模型性能与效率问题检测

1 模型性能评估指标

1.1 分类模型

对于分类模型，常见的低偏差性能评估方法有结合使用 ROC - AUC 和 PR - AUC，或者使用马修斯相关系数（MCC）或平衡准确率。不过，如果明确了具体目标，例如更关注精确率而非召回率，就可以选择能为决策提供必要信息的性能指标。但要避免仅仅为了比较不同模型中多少指标更优，就为模型报告 10 个性能指标。

1.2 回归模型

可以使用评估模型连续预测值与真实值之间差异（如均方根误差 RMSE），或者预测值与真实值之间一致性（如决定系数 (R^{2})）的指标来评估回归模型的性能。下面是常见的回归模型性能评估指标：
| 指标 | Python 函数 | 公式 | 描述 |
| — | — | — | — |
| 均方根误差 (RMSE) | sklearn.metrics.mean_squared_error() 计算 MSE 后开方 | (MSE = \frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\hat{y} {i})^{2})，(RMSE = \sqrt{MSE}) | (n) 为数据点数量，(y {i}) 为数据点 (i) 的真实值，(\hat{y} {i}) 为数据点 (i) 的预测值。范围：([0, \infty))，值越低性能越高 |
| 平均绝对误差 (MAE) | sklearn.metrics.mean_absolute_error() | (MAE = \frac{1}{n}\sum {i = 1