使用cohen kappa系数衡量分类精度

最新推荐文章于 2025-03-13 11:12:38 发布

原创

最新推荐文章于 2025-03-13 11:12:38 发布 · 1.4w 阅读

36 ·

CC 4.0 BY-SA版权

文章标签：

#Cohen Kappa #多分类 #评价函数

Cohen Kappa 系数是一种衡量分类一致性或精度的指标，常用于医疗诊断的一致性评估。除了在临床试验中广泛应用，它也被用在kaggle竞赛中作为分类精度的评价标准。Kappa系数考虑了机遇符合率，取值范围为0到1，值越大表示一致性或分类精度越高。Kappa系数分为简单Kappa、加权Kappa（包括线性和平方加权）等类型，针对不同情况选择不同的计算方式，如有序分类变量的一致性检验通常使用加权Kappa。

AI助手已提取文章相关产品：

在诊断试验中，研究者希望考察不同诊断方法在诊断结果上是否具有一致性。如评价两个医务工作者对同一组病人的诊断结论的一致性、同一医务工作者对同一组病人前后进行两次观察作出诊断的一致性。1960年Cohen等提出用Kappa值作为评价判断的一致性程度的指标。实践证明，它是一个描述诊断的一致性较为理想的指标，因此在临床试验中得到广泛的应用。下文给出的例子也都是基于医疗诊断的，可见其提出背景。除此之外，kappa系数也可用于衡量分类精度，在kaggle竞赛中经常被用作评价指标，如2019 data science bowl和PetFinder.my Adoption Prediction等等。

由于诊断试验一致性的大小不完全取决于研究者的临床经验和诊断能力，还可能是由于机遇因素的作用，致使不同研究者得出相同的诊断结论。即没有受过专业医疗教育的人对患者进行诊断也可能会得出与专业医生一样的结论，而这种一致性结论完全是由于机遇因素导致的。kappa系数即是在一致性判断中剔除机遇因素的影响。kappa取值为[0,1]，值越大代表一致性越强/分类精度越高。

kappa系数的计算分为以下几类，下面将通过例子介绍这几种kappa系数如何计算。