机器学习经典算法：分类模型的多重评价指标

正文

          \,\,\,\,\,\,\,\,\,\,分类模型的多重评价指标用于全面衡量模型的分类性能，通过不同角度评估模型的表现。常见的指标包括 准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1值和ROC-AUC。准确率衡量了正确预测的比例，适合数据平衡的情境。然而，当数据不平衡时，准确率可能并不充分反映模型的实际表现。此时，精确率和召回率提供了对正负类的区分能力的更好衡量，特别是在关注模型对某一类别的预测能力时。F1值则是精确率和召回率的调和平均，适合在这两者之间权衡。ROC曲线和AUC值则能够衡量模型在不同分类阈值下的表现，尤其在处理概率输出时，能够评估模型的总体分类能力。通过这些综合评价指标，可以有效避免单一评价标准带来的偏差，全面理解模型的优缺点，从而指导模型优化与选择。

1. 准确率（Accuracy）：预测正确的样本占总样本的比例，适合数据平衡情况。
2. 精确率（Precision）：预测为正类中实际为正类的比例，关注预测的准确性。
3. 召回率（Recall）：实际正类中被正确预测的比例，衡量模型对正类的识别能力。
4. F1值：精确率和召回率的调和平均，适合处理数据不平衡的情况。
5. ROC-AUC：衡量模型区分正负类能力的指标，与概率预测相关。

---

1、分类准确度（accuracy）

分类准确率(ACC，accuracy )： 该指标描述了统计测试集的模型预测结果与真实标签的一致度,是一般情况下在 无倾斜样本总体 的分类评价中最常用的指标，准确率越高，意味着分类模型效果越好。
$$ACC=\frac{TN+TP}{TN+FP+FN+TP}$$
np.sum( Y_predict ==Test_Y)/len(Test_y)

缺点： 分类准确度评估指标 很大程度上依赖样本集的标签分布，对例如样本集中存在 99.9% 的负 (0) 和 0.1% 正 (1) 样本分布，即使算法模型将所有样本都预测为负 (0) 样本，也有样本的分类准确率也能达到 99.9% 。这样即使分类准确率很高，但该模型却几乎没有识别 正例样本的 的能力。所以对于 极度偏斜的数据总体(Skewed Data)，总体中存在发生概率极低的事件(如A事件小于 5%，B事件大于95%)，从总体采样用于训练测试的原始数据，使用 分类准确度(accuracy ) 来评估模型准确度的话，哪怕分类模型将所有小概率事件A判断为B，模型的准确度也能达到 95%，意味着训练的分类模型并未对待解决的问题起任何作用，同基于事件的发生概率进行随机预测的结果一样，

2、基于【混淆矩阵 Confusion Matrix】 提出的优化评估方法

混淆矩阵 用以总结分类问题的预测结果。使用计数的方式统计正确和错误预测的样例结果数量，按分类类别进行细分记录在混淆矩阵里面，用以比较分类结果和实际测得值。

基于 混淆矩阵 提出的优化分类评估指标

• ① 精准率
  precision=TPTP+FPprecision = \frac {TP}{TP+FP}precision=<