6、电子健康记录数据的分类算法与评估指标

电子健康记录数据的分类算法与评估指标

1. 模型评估指标

1.1 AUC和ROC

在机器学习中，评估模型的性能是一项重要任务。AUC（Area Under the Curve，曲线下面积）和ROC（Receiver Operating Characteristics，受试者工作特征曲线）常用于评估多分类问题的模型性能。ROC曲线展示了分类模型在不同阈值下的性能，它以真阳性率（True Positive Rate，TPR）为纵坐标，假阳性率（False Positive Rate，FPR）为横坐标绘制而成。ROC是一条概率曲线，而AUC则是衡量模型可分离性的指标，它反映了模型识别不同类别的能力。

• 当AUC接近1时，模型具有良好的可分离性，能够很好地区分不同类别。例如在癌症预测场景中，如果模型能正确预测所有癌症患者和非癌症患者，此时AUC等于1，这是一个优秀模型的表现。
• 当AUC接近0时，模型的可分离性最差，甚至会出现结果颠倒的情况。
• 当AUC等于0.5时，模型无法区分不同类别。

不同AUC值对应的情况如下表所示：
| AUC值 | 模型表现 | 示例场景 |
| ---- | ---- | ---- |
| 1 | 可分离性良好，能准确区分不同类别 | 癌症预测中正确区分所有患者 |
| 0.7 | 有70%的概率区分不同类别 | |
| 0.5 | 无法区分不同类别 | |
| 0 | 可分离性最差，结果颠倒 | 癌症预测中错误区分所有患者 |

1.2 敏感性和特异性

敏感性指的