14、机器学习模型评估：从二元分类到回归分析

机器学习模型评估：从二元分类到回归分析

在机器学习领域，模型评估是确保模型有效性和可靠性的关键步骤。本文将深入探讨二元分类模型、多分类模型以及回归模型的评估方法，通过具体的代码示例和详细的解释，帮助你更好地理解和应用这些评估技术。

二元分类模型评估

• CAP曲线评估 ：CAP（Cumulative Accuracy Profile）曲线用于评估模型在识别正例方面的性能。以KNN和随机森林模型为例，它们的表现优于随机猜测，但不如完美模型。具体来说，完美模型能从138个观测值中正确识别出138个正例，随机模型能识别70个，而KNN和随机森林模型分别能识别102个和103个。这两个模型在区分正例方面的性能分别达到完美模型的74%和75%，通常认为70% - 80%的比例表明模型表现良好。
• ROC曲线绘制与分析 ：ROC（Receiver Operating Characteristic）曲线展示了在调整阈值时，假正率（False Positive Rate）和真正率（True Positive Rate，也称为灵敏度Sensitivity）之间的权衡关系。以下是绘制ROC曲线的详细步骤：
  1. 生成预测和预测概率 ：使用随机森林分类器进行训练，并生成预测和预测概率。

rfc.fit(X_train_enc, y_train.values.ravel())
pred = rfc.predict(X_test_en