对于分类预测模型的表现评估我们最常见的指标就是ROC曲线,报告AUC。比如有两个模型,我们去比较下两个模型AUC的大小,进而得出两个模型表现的优劣。这个是我们常规的做法,如果我们的研究关注点放在“在原模型新引入一个预测变量,模型的效果会不会提高时”,这个时候ROC就常常会显得力不从心,因为通常加入一个变量AUC不会有太大的变化,且AUC不好解释。
When evaluating the improvement of predictive performance of a predictive model after incorporating a new marker, the improvement of C-Statistic/AUC is always small, therefore the new marker sometimes fails to significantly improve C-Statistic/AUC.
这时,就需要用到我们今天要讲的综合判别改善指数IDI, 净重分类指数NRI指标。
Two new metrics, the integrated discrimination improvement (IDI) and net reclassification improvement (NRI), have been rapidly adopted to quantify the added value of a biomarker to an existing test.
净重分类指数NRI
一个新的指标或者新的模型是不是会提高分类效果,最终会体现在人数上,从这个角度考虑,我们可以去对比两个模型或者不同的指标对研究对象的正确划分情况,从而得到结论。
就是说我们的旧模型会把研究对象分类为患者和非患者,新的模型也会把研究对象分类为患者和非患者。此时比较新、旧模型对于研究人群的分类变化,就会发现有一部分研究对象原本在旧模型中被错分,但在新模型中得到了正确划分;同样也有一部分

本文介绍了在评估模型性能改进时,ROC曲线和AUC的传统方法可能不足,特别是在引入新变量时。文章重点讲解了综合判别改善指数(IDI)和净重分类指数(NRI),这两个指标用于量化新生物标志物对现有测试的附加价值,通过比较模型对个体分类的改变来评估模型增强效果。
最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



