34、机器学习模型评估：关键指标与技术详解

机器学习模型评估：关键指标与技术详解

在机器学习领域，准确评估模型的性能至关重要。本文将深入探讨几种常用的模型评估指标和技术，包括灵敏度与特异度、ROC曲线下面积、概率技术以及Kappa误差指标，并结合具体代码示例进行详细解释。

1. 灵敏度与特异度

灵敏度（Sensitivity）和特异度（Specificity）用于分别衡量模型在正类和负类上的性能。它们能帮助我们了解模型在不同类别上的表现情况。

• 灵敏度 ：也称为真阳性率（True Positive Rate, TPR），指的是在实际为正类的样本中，模型正确识别为正类的概率。计算公式为：$Sensitivity = \frac{TP}{TP + FN}$，其中$TP$表示真正例，$FN$表示假反例。
• 特异度 ：也称为真阴性率（True Negative Rate, TNR），指的是在实际为负类的样本中，模型正确识别为负类的概率。计算公式为：$Specificity = \frac{TN}{TN + FP}$，其中$TN$表示真反例，$FP$表示假正例。

以下是一个具体的代码示例，展示了如何计算灵敏度和特异度：

# 创建分类矩阵
Actual_Class <- ifelse(result$`Actual Class` == 1, "One", "Rest")
Predicted_Class <- ifelse(result$`Predicted Class` == 1, "One", "Rest")