23、机器学习模型评估、优化与Web应用开发

机器学习模型评估、优化与Web应用开发

1. 模型评估指标

在机器学习中，评估模型的性能至关重要。通过观察图表，我们发现可以过滤掉85%的垃圾邮件，且没有一个误报。不过，要真正验证这一假设，我们需要更大的测试集。

图表有助于我们理解模型的行为，但有时我们只需要一个单一的指标来衡量模型的质量。ROC曲线下的面积（AUC）就是这样一个很好的指标。以下是计算AUC的代码示例：

scala> bm.areaUnderROC
res21: Double = 0.9983061235861147

这意味着，从测试集中随机抽取两条消息，一条是正常邮件，一条是垃圾邮件，模型将垃圾邮件判定为垃圾邮件的概率为99.8%。

除了AUC，还有其他有用的模型质量指标，如特定阈值下的精确率和召回率，或F1分数。这些指标都可以通过 BinaryClassificationMetrics 实例获得，其API文档可参考：https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.mllib.evaluation.BinaryClassificationMetrics 。

2. 逻辑回归中的正则化

机器学习的一个风险是过拟合，即算法不仅捕捉到了训练集中的信号，还捕捉到了由于训练集规模有限而产生的统计噪声。

在逻辑回归中，缓解过拟合的一种方法是使用正则化。我们在优化时对参数的大值施加惩罚，具体做法是在成本函数中添加