16、机器学习算法评估与应用全解析

机器学习算法评估与应用全解析

1. 模型评估指标

在机器学习中，评估模型的性能至关重要。以预测为正常邮件但实际不是的情况为例，我们关注几个关键指标：准确率（Accuracy）、精确率（Precision）和召回率（Recall）。
| 预测为正常但实际不是的情况 | 正常邮件精确率 | 召回率 | 准确率 |
| — | — | — | — |
| 60 | 99.4% | 50% | 98% |
|… |… |… |… |
| 100 | 99% | 37.5% | 98% |

从这些数据可以看出，假阴性在大量训练的情况下对准确率影响较小，但对召回率影响较大。当召回率低于 50% 时，模型的可行性降低，需要生成监控警报。

2. 混淆矩阵

混淆矩阵是一种更通用的评估工具，用于处理离散分类问题。例如，将啤酒分为皮尔森（Pilsner）、世涛（Stout）和小麦啤酒（Hefeweizen）三类，通过分类算法得到如下混淆矩阵：
| | 皮尔森 | 世涛 | 小麦啤酒 |
| — | — | — | — |
| 皮尔森 | 20 | 1 | 3 |
| 世涛 | 1 | 30 | 1 |
| 小麦啤酒 | 5 | 1 | 10 |

从这个混淆矩阵中，我们可以计算出模型的召回率、精确率和整体准确率。例如，世涛的精确率为 30/32，约为 93%，召回率同样为 30/32。然而，混淆矩阵的局限性在于它只适用于离散分类问题。对于回归或返回连续变量的算法，我们需要使用均方误差（Mean Squared Error）。

3. 均方误差