8、机器学习模型性能与效率问题检测

机器学习模型性能与效率问题检测

1. 性能评估指标

1.1 分类模型

对于分类模型，常见的低偏差性能评估方法是结合使用 ROC - AUC 和 PR - AUC，或者使用马修斯相关系数（MCC）或平衡准确率。不过，如果明确了目标，例如更关注精确率而非召回率，那么可以选择能为决策提供必要信息的性能指标。但要避免仅仅为了比较不同模型在多个指标上的优劣，而报告过多的性能指标。

1.2 回归模型

可以使用评估模型连续预测值与真实值之间差异的指标，如均方根误差（RMSE），或者评估预测值与真实值一致性的指标，如决定系数 (R^{2}) 来评估回归模型的性能。以下是常见的回归模型性能评估指标：
| 指标 | Python 函数 | 公式 | 描述 |
| — | — | — | — |
| 均方根误差 (RMSE) | sklearn.metrics.mean_squared_error() | (MSE = \frac{1}{n}\sum_{i = 1}^{n}(y_{i}-\hat{y} {i})^{2})
(RMSE = \sqrt{MSE})
(n)：数据点数量
(y {i})：第 (i) 个数据点的真实值
(\hat{y} {i})：第 (i) 个数据点的预测值 | 范围：([0, \infty))
值越低，性能越高 |
| 平均绝对误差 (MAE) | sklearn.metrics.mean_absolute_error() | (MAE = \frac{1}{n}\sum