16、分类模型评估与贝叶斯定理应用

分类模型评估与贝叶斯定理应用

在机器学习和数据分析中，模型评估和概率计算是非常重要的环节。本文将介绍分类模型的评估指标，如kappa统计量，以及概率的不同观点，包括频率主义和贝叶斯主义，并详细讲解贝叶斯定理及其在实际问题中的应用。

1. 分类模型评估

1.1 混淆矩阵

一个好的分类模型的混淆矩阵，其对角线上的计数应占主导，非对角线上的数字则要小得多。例如，某模型返回了682个真阴性和339个真阳性，总共正确预测结果为1021个。一个完美的分类器，其非对角线上的单元格值应为零。

1.2 kappa统计量

kappa统计量可用于比较两对类别，以查看类别之间的一致性。它比单纯查看百分比一致性更可靠，因为该公式考虑了部分一致性可能仅仅是偶然发生的可能性。

计算kappa统计量需要知道两个值：
- p(a) ：实际观察到的一致性概率。在之前的计算中，p(a)为78%，即真阳性和真阴性的总和除以样本大小。
- p(e) ：预期的一致性概率。要计算p(e)，需要知道数据中负类的比例和模型预测的负类比例。在给定的数据中，数据中负类的比例为809/1309（约62%），模型中负类的比例为843/1309（约64%）。随机一致性概率p(e)约为53%。

kappa统计量的计算公式为：
[k = \frac{p(a) - p(e)}{1 - p(e)}]

将计算得到的值代入公式，可得：
[k = \frac{0.78 - 0.53}{1 - 0.53} = 0.527]