13、分类模型的评估与性能提升

分类模型的评估与性能提升

1. 因子分解机（FMs）的优缺点

因子分解机（FMs）在处理高维稀疏数据集方面展现出强大的能力，尤其适用于特征间交互起关键作用的场景，在推荐系统、点击率预测和文本挖掘等领域有广泛应用。然而，它也存在一些局限性：
- 训练计算成本高 ：尽管FMs在处理高维数据时效率较高，但在处理大型数据集和大量潜在因子时，与简单模型相比，训练过程的计算量和时间成本都较高。
- 超参数敏感 ：FMs的性能对超参数的选择非常敏感，如潜在因子的数量和正则化项。找到最优的超参数集通常需要大量的搜索和交叉验证，这是一个耗时的过程。

2. 分类模型的性能评估指标

2.1 二分类评估指标

在Apache Spark中，MLlib库为二分类任务提供了多个关键评估指标，用于评估模型的性能：
| 指标 | 定义 | 计算公式 |
| ---- | ---- | ---- |
| 准确率（Accuracy） | 所有预测中正确预测（真阳性和真阴性）的比例 | ((TP + TN) / (TP + FP + FN + TN)) |
| 精确率（Precision） | 模型所有正预测中真阳性预测的比例 | (TP / (TP + FP)) |
| 召回率（Recall） | 所有实际正例中真阳性预测的比例 | (TP / (TP + FN)) |
| F1分数（F1 score） | 精确率和召回率的调和平均值 | (2 * (Precision * Recall) / (Precision + Recall))