9、机器学习中的性能评估与参数模型学习

机器学习中的性能评估与参数模型学习

1. 性能评估与阈值调整

在机器学习模型评估中，我们常常遇到这样的情况：大部分验证数据点能被正确预测为正常，但有相当一部分异常数据会被错误地预测为正常。例如，在某个应用中，准确率（1 - 误分类率）为 0.931，F1 分数为 0.106 ，而一个总是预测正常的无用预测器准确率为 0.927，F1 分数为 0。

为了改善这种情况，我们可以调整决策阈值。以公式（3.36）为例，将决策阈值降低到 r = 0.15 ，即当预测的类别概率超过这个值（g(x) > 0.15）时，我们就预测为正（异常）类。这样做会得到一个新的混淆矩阵：
| | y = normal | y = abnormal |
| — | — | — |
| by = normal | 3067 | 165 |
| by = abnormal | 111 | 85 |

这种改变增加了真正例的数量（从 13 个正确预测为异常的患者增加到 85 个），但同时也增加了假正例的数量（从 1 个错误预测为异常的患者增加到 111 个）。正如预期的那样，准确率下降到 0.919，但 F1 分数提高到 0.381。需要注意的是，F1 分数只考虑了不平衡性，而没有考虑不对称性。我们需要根据哪种类型的错误后果更严重，来判断这个分类器在假阴性率和假阳性率之间的权衡是否合适。

2. 参数建模原理

2.1 非线性参数函数

我们从回归模型 y = fθ(x) + ε 开始讨论。在第 3 章中，为了将其转化为可以使用最小二乘法进行训练且有闭式解的线性回归模型，我们做了两个假设：一是函数 fθ 在模型