R数据分析:生存数据的预测模型建立方法与评价

医学大数据|R|竞争风险模型:基础、R操作与结果解读 竞争风险模型:基础、R操作与结果解读 阅读详情

之前写了生存分析列线图的做法,列线图作为一个预测模型可视化工具,我们使用它的过程其实就是一个给新数据做预测的过程,其内在本身的模型就是我们基于现有数据训练的一个预测模型,今天也算是接着上一篇文章继续写生存分析的预测模型的效果评价。

生存数据预测模型和我们之前写的连续变量结局和分类结局的预测模型不同的地方就在于我们得考虑生存数据的删失和时间因素,通过这么一个预测模型,我们期望的目标是帮助临床医生去回答特定病人在某个时间的生存概率。从这个角度讲我们对模型评估和评价的标准就有一个锚定了。

Thus, survival prediction models differ from traditional prediction models for continuous or binary outcomes by appropriately accommodating censoring that is present in time-to-event data.to answer questions such as “What is the probability that this patient will be alive in 5 years, given their baseline covariate information?” This predicted probability can then be used by clinicians to make important decisions regarding patient care

比如说我收集了某个癌症病人的很大的有代表性的数据集,我通过我的数据学习出来了一个预测模型,再来一个新的癌症病人,模型可以告诉我,这个病人能活多久。

如果这个新数据本身有标签,我们通过对比实际标签(具体时间的生存概率)和模型预测结果(预测的具体时间的生存概率),就可以来评价模型优劣。逻辑和常规(分类结局和连续结局)的预测模型还是一样的。

先回顾生存分析

依然是先回顾下生存分析中的常见的术语:

我们的结局变量两个水平,一个是发生事件,另外一个是删失;同时这个结局还依赖于一个时间变量。

刚刚写了,我们做生存数据的预测,回答的是we are predicting the probability that an event happens at a particular time .----某个时刻发生事件的概率。所以这个时候常规的评价模型的指标都不好使了。

Due to the presence of the censoring in survival data, the standard evaluation metrics for regression such as root of mean squared error and ܴ R2 are not suitable for measuring the performance in survival analysis.

对于生存数据的预测模型,此时的评估模型的指标有下面3个:Concordance index (C-index),Brier score,Mean absolute error。今天的任务就是一个一个带大家捋一遍,希望能帮助大家理解在“个体特定时间的生存概率这个锚定标准下,这些指标为什么可以用来评价模型。”

Concordance index (C-index)

首先看C指数,这个一致性指数在分类结局的预测模型中给大家提到过,就是ROC曲线下面积,对于生存数据的预测模型来讲,这个指数和灵敏度特异度就没关系了,它比的是实际值和预测值的排序一致不一致。理解方法可以参考秩和检验。

For a binary outcome, C-index is identical to the area under the ROC curve (AUC).

The concordance index or C-index is a generalization of the area under the ROC curve (AUC) that can take into account censored data. It represents the global assessment of the model discrimination power.

其逻辑在于:每个个案通过模型都给它一个风险分,如果模型表现好,那么风险分高的个案应该会先发生事件,按照这个逻辑,然后我们用模型给每个个案都赋一个风险分,形成很多个可以对比的组(2个为一组):在组内确实满足刚刚讲的“风险分越大,事件越先发生”那么这个组就是一致性的组,否则就是不一致的组,这样一致性的组占所有对比组的比例就是C-index:

指数的计算方法如下:

其中,分子上是一致性的组,分母是所有组。那么这个值就是越大越好。

上面就是生存分析预测模型评价中C-index的内在逻辑,大家作为应用型科研工作者关注逻辑就好,请自动忽略掉数学表达。

Brier score

再来看第二个评价指标,叫做Brier score。这个Brier score是个案在t时间的生存状态减去t时间的预测生存概率的差的平方的均值。

其可以用来评价模型的逻辑在于:如果我的模型真的可以很好的预测特定时刻的生存概率,那么对于某个时刻我的生存状态确实是1,那么模型应该说我此时的生存概率无限大;反之模型应该说我的生存概率无限小。

因为牵扯到具体时间,这个指标只能截一个时间点去看,其算法如下:

we found that BS depends on the selection of time point t. Generally, the median of the observation time is selected as the time point.

就是个案在t时间的生存状态减去t时间的预测生存概率的差,比如在t时间个案实际观测到的是死亡(取0),那么这时候模型预测的生存概率应该越小越好;t时间个案实际观测到的是存活(取1),那么这个时候模型预测的生存概率应该是越大越好;肯定是减了之后的差越小越好嘛,也就是这个Brier score越小越好,并且得小于0.25才说明这个模型好过瞎猜。但是这指标只能看某个时间点模型的预测准确性。

上面就是生存分析预测模型评价中Brier score的内在逻辑,大家作为应用型科研工作者关注逻辑就好,自动忽略掉数学表达。

Mean absolute error

MAE这个指标在连续变量结局的预测模型中也有的,指的是预测值和实际值的差的绝对值的和,在生存分析的预测模型中,就是实际生存时间和模型预测生存时间的差的绝对值的和。算法如下:

这个指标只考虑了非删失数据,实际中就用得比较少。基本不用管。

模型评价实操

解释完指标之后我们再看实操做法,依然我们选取 JAMA Surg.的文章做参考,文章名如下:

Hyder O, Marques H, Pulitano C, et al. A Nomogram to Predict Long-term Survival After Resection for Intrahepatic Cholangiocarcinoma: An Eastern and Western Experience. JAMA Surg. 2014;149(5):432–438. doi:10.1001/jamasurg.2013.5168

文章中对模型评估的方法学介绍如下:

可以看到,这篇文章报告了C指数,用自助抽样样本画了校准曲线,还进行了模型的验证。我们首先来看C指数的做法,文章中报告了C指数的值和置信区间:

Predictive accuracy (discrimination) of the final model was measured by calculating the Harrell C index, which was 0.692 (95% CI, 0.624-0.762).

如果你是用coxph函数跑模型,那么模型的输出结果中自动会出来C指数C指数的标准误的,如下图:

比如我们就单独想要这个指数,可以直接运行下面代码:

cindex(formula, data)

要得到C指数的置信区间的话就得求助concordance.index函数,代码如下:

concordance.index(predict(c),surv.time = dt,surv.event = e,method = "noether")

输出如下,有C指数,标准误和对应置信区间上下限:

看完了C指数的操作我们再看校准曲线的画法,论文中给到的校准曲线长这样:

首先我们来理解什么是校准曲线,上图中横轴是模型预测的生存概率,纵轴是实际的生存概率。图中还有一条灰色的虚线,代表预测概率和实际的生存概率一致,最理想的情况下校准曲线是一条对角线(预测概率等于实际概率),我们实际写文章的时候只要看着不要偏太离谱就行。

Calibration plot is a visual tool to assess the agreement between predictions and observations in different percentiles (mostly deciles) of the predicted values.

还要理解的是我们本身生存概率的分布是连续的,而图中只是画了3个点,这是因为算法将数据进行了分箱处理,上图中就是将原始数据分成了3组,这个操作使用calibrate函数中的参数m进行控制

For survival models, "predicted" means predicted survival probability at a single time point, and "observed" refers to the corresponding Kaplan-Meier survival estimate, stratifying on intervals of predicted survival。

同时,对于生存数据我们本身做预测的时候也是需要限定时间的,所以需要设定参数u。

比如我们要自助抽样20次,数据分箱,每箱200个,做时间点6的校准曲线的示例代码如下:

cal <- calibrate(f, u=6, cmethod='KM', m=200, B=20)
plot(cal)

关于模型验证的结果,论文中通过报告重复抽样验证结果中训练数据和测试数据的C指数说明了模型并没有过拟合,原文如下:

Bootstrap validation of the model with 300 iterations revealed minimal evidence of model overfit. The training data set C statistic was 0.699, and the testing data set C statistic was 0.706, which represented the bias-corrected estimate of model performance in the future.

此部分的实现代码如下:

validate(f, B=300) 

通过输出结果中便可推算出相应数据集的C指数。

D_{xy} are equal to 2 * (C - 0.5)where C is the C-index or concordance probability

然后我们再对比下训练数据和测试数据的C指数的差异就可以去得到我们自己模型的结论。

好了,到这儿本期按照JAMA surgery文章给大家写的生存数据预测模型的做法与评价方法就给大家写完了,其实生存数据的预测模型还有别的评价方法比如时间依赖的ROC,决策曲线等等,安排在下期,请持续关注。

R语言生存分析实战:如何用c-index评估你的Cox模型预测效果? 本文详细介绍了在R语言环境中,如何运用c-index这一核心指标精准评估Cox比例风险模型的预测区分能力。通过实战演练,从数据准备、模型构建到c-index的多种计算方法(包括Bootstrap验证),系统讲解了其计算逻辑、结果解读与常见陷阱,帮助研究者在生存分析中科学验证模型效能,确保结论的可靠性。 阅读详情

相关推荐

R语言生存分析生成模拟数据构建Cox回归分析模型并计算C-index

R语言生存分析生成模拟数据构建Cox回归分析模型并计算C-index生存分析是一种统计方法,用于分析个体在给定时间段内发生某个事件的概率。Cox回归是生存分析中常用的一种回归分析方法,用于估计个体特征对风险的影响程度。在本文中,我们将使用R语言来生成仿真数据,并构建Cox回归分析模型,最后计算C-index来评估模型的预测性能。下面将依次介绍每个步骤。

PixelDyno的博客 1012

数据分析 - 预测模型(学习笔记)

快速预测的方法,只用excel就能搞掂哦。大部分日常工作的预测,都是基于连续几个数据,比如: 有今年1-5月销量,问6月销量咋样? 有最近10周的新增用户,问第11周有多少? 有过去30天的业绩,问今天业绩如何? 这种预测有个专业名词:时间序列预测。 常见的数据走势有三种: 趋势型:连续发展的态势。(增长趋势/降低趋势) 躺平型:变动较少,一条直线。 周期型:有规律的周期性波动。 1.趋势型 这里简单解释一下公式公式里Y就是要预测的用户量数据(因变量),X是自变量...

m0_65392155的博客 1万+

R数据分析:生存数据预测模型的建立和评价(二)timeROC与决策曲线

上篇文章依照的一篇文章给大家写了生存数据预测模型评价的C指数、校准曲线和模型验证结果的做法,其实生存数据预测模型的评价方法还有很多,本期接着往下看。

Codewar的博客 3273

数据预测以及预测模型

本篇文章将系统的介绍数据预测过程之中涉及的重要概念,完成阐述数据预测的基本框架和脉络。旨在为读者顺利学习和理解后续章节的各具体算法奠定理论基础。

5682

Nginx反向代理MinIO私有桶签名失效?一招解决Host头校验问题

本文详细解析了Nginx反向代理MinIO私有桶时出现的签名失效问题,重点解决了Host头校验导致的"SignatureDoesNotMatch"错误。通过精准配置proxy_set_header保持Host头一致性,并提供了二级目录代理和调试指南,帮助开发者高效解决这一常见技术难题。

weixin_29201313的博客 321

实战对比:Lmcache+vllm将KVcache卸载到CPU和SSD的性能差异(附完整配置)

本文通过实战对比Lmcache与vLLM在KV Cache卸载到CPU和SSD的性能差异,详细解析了配置优化、基准测试及高级调优策略。实验显示,CPU卸载在低并发下表现优异,而SSD方案在高并发场景中更具性价比优势,为LLM推理任务提供了高效的存储解决方案。

weixin_30664051的博客 702

时间序列(一):时间序列数据与时间序列预测模型

时间序列定义: 时间序列是按照一定的时间间隔排列的一组数据,其时间间隔可以是任意的时间单位,如小时、日、周月等。比如,每天某产品的用户数量,每个月的销售额,这些数据形成了以一定时间间隔的数据。 通过对这些时间序列的分析,从中发现和揭示现象发展变化的规律,并将这些知识和信息用于预测。比如销售量是上升还是下降,销售量是否与季节有关,是否可以通过现有的数据预测未来一年的销售额是多少等。 对于时间序列的预测,由于很难确定它与其他变量之间的关系,这时我们就不能用回归去预测,而应使用时间序列方法进行预测。 采用时间序列

Smilecoc的博客 13万+

告别Vysor!用Scrcpy在Mac上无线投屏安卓手机(附魅族16th闪退修复实战)

本文详细介绍了如何在Mac上配置和使用开源投屏工具Scrcpy,实现安卓手机无线投屏的高效解决方案。从基础环境准备到高级功能调优,包括无线连接配置、输入控制增强、多设备管理和性能优化等实用技巧,特别针对魅族16th等机型的闪退问题提供了修复方案,帮助用户彻底告别Vysor等商业软件。

weixin_28712661的博客 396

python机器学习数据建模与分析——数据预测与预测建模

机器学习的预测建模在多个领域都具有重要的应用价值,包括个性化推荐、商品搜索、自动驾驶、人脸识别等。本篇文章将带领大家了解什么是预测建模

m0_63642362的博客 1万+

大模型训练和推理

大模型训练moe是指混合专家(Mixture-of-experts,简称MoE)的,这是一种用于提高大型神经网络性能的技术,它可以将模型的一部分替换为多个专家,每个专家只负责处理一部分输入数据,从而增加模型的参数量和表达能力,同时减少计算量和训练时间。指令可以作为模型的输入的一部分,也可以作为模型的输出的一部分,具体取决于任务的类型。上下文扩展技术的,这是一种用于提高大型语言模型(LLM)对长文本的处理能力的技术,它可以让模型在不增加参数量的情况下,扩展其注意力范围,从而提高模型的语言理解和生成能力。

weixin_45325331的博客 6027

3D Gaussian Splatting环境配置和运行

使用conda命令根据environment.yml文件创建虚拟环境时,安装的pytorch是使用conda install 命令来安装的,实际上并不能成功安装带有gpu的pytorch,而这两个模块的安装依赖于带gpu的pytorch。如果不注释掉这三行,直接安装会报错

m0_46360757的博客 3326

R语言资源汇总

Nomogram的教程:Logistic、Cox回归之图形化呈现(R语言中绘制Nomogram)、教你用R画列线图,形象展示预测模型的结果、基于R的生存资料预测模型构建与Nomogram绘制 ggplot绘图细节汇总:ggplot2中如何设置坐标轴大小等绘图细节(总结整理) 生存分析的一些资料: R语言-Survival analysis(生存分析) Survival Analysi...

FanJin的博客 5741

【CANdelaStudio编辑CDD】-1.2-给$10服务SessionControl创建一个新Session会话并修改Session state machine会话状态机(UDS诊断)

前一篇:【UDS诊断描述文件CDD】-1.1-ISO_14229中$10服务理论部分https://blog.youkuaiyun.com/qfmzhu/article/details/120375515案例背景: 在CDD中如何给$10服务创建一个新的Session会话; 在CDD中如何给$10服务修改Session state machine会话状态机。 目录 1 查看$10服务中已有的Session会话​ 2 查看$10服务中已有的Session state machine会话状态机 3 在$10...

「汽车电子助手」的博客 6082

临床预测模型R语言实战代码大揭秘

临床预测模型R语言实战代码主要涉及模型建立、模型评价、模型比较3部分内容,其中模型评价和比较内容占比较多对于列线图、C-index、ROC 曲线、决策曲线、校准曲线、临床影响曲线、NRI、IDI 等内容,皆进行了详细的操作演示,同时提供多种实现方法临床预测模型在医学研究中可是相当重要的工具,它能帮助医生预测疾病的发生、发展以及患者的预后情况。今天咱们就用R语言来实战一下,主要涉及模型建立、模型评价和模型比较这三个部分,其中模型评价和比较的内容会多一些。

oOOpHQYUKG的博客 389

通过Langchain实现大模型完成测试用例生成的代码(可集成到各种测试平台)

代码中使用的是讯飞spark3.0版本,其中版本在的控制已经封装到了langchain对应的讯飞的iflytek的类中,可以在调用的时候显示控制,默认是spark2.0版本。

Criss@陈磊 2364

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

医学大数据|基础|医学大数据分析结果验证方法:C-index和AUC值

《基于临床数据的食管癌动态生存预测模型的构建与应用》

久菜盒子工作室的博客 1391

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

你是不是想知道,R语言为什么能成为医学数据分析的重要工具?

R语言不是医学数据分析的「可选工具」,而是「必备工具」。订阅《用R探索医药数据科学》,掌握医学数据分析的核心技能。

MD Code 407

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

零基础也可掌握的“机器学习方法”构建预测模型,立即可学,欢迎参加

什么是机器学习?通俗来讲,机器学习是以数据为研究对象,通过统计学方法构建模型并应用模型对数据进行预测与分析,是一门数据驱动的学科。在临床科研中,怎么利用机器学习来构建临床预测模型发表高分SCI呢?不如来参加郑老师团队基于R语言的机器学习在临床预测模型中的应用课程????。课程内容包含:临床预测模型概念过程、R语言入门、机器学习概述与方法、机器学习建模过程与R语言实现、二分类机器学习建模、二分类机器学习调...

郑老师统计 954

如何理解那张生存曲线图? 【30天学会医学统计与SPSS、R语言公益课(D25)】

1958年,Edward L. Kaplan和 Paul Meier合作发表了一篇关于如何处理不完整的生存时间资料文章后,利用Kaplan-Meier方法描绘生存过程、绘制生存曲线已经成为处理不同生存时间(time-to-event)的最熟悉的方式。,主要是开展生存率分析比较,而Cox回归则比较的是风险函数,即“死亡”速度,的差异性。生存率与时间相关,可建立与时间的函数关系,因此生存率又称关于时间的生存函数。生存分析中死亡,指的是阳性事件,死亡率指的是阳性事件发生率,生存时间指的是维持阴性状态的时间。

郑老师统计 1075

机器学习与临床预测模型1临床预测模型建模理论与方法(上)

临床预测模型又称临床预测规则,预测模型或者风险评分。利用多因素模型估算当前患有某病的概率或者将来某结局发生的概率。

wm_2609327016的博客 1052

生存模型的AUC

前面的文章总结了分类模型的AUC评价,但是对于生存模型如Cox比例风险模型,是否有类似的评价指标呢? 比较简单粗暴的想法是,确定一个生存终点,从而将生存模型的评价转化为分类模型的评价,比如3年DFS,此时生存时间和生存状态便依据3年这个时间点,转化成第3年那个时刻的“生存状态”,即模型因变量变成了分类变量。这个时候可以直接用分类模型的AUC计算方式直接计算(但是预测模型应该仍然是用Cox模型,暂...

FanJin的博客 1万+

临床预测模型之综合判别改善指数IDI计算

完美观看体验请至公众号查看本文。,专注R语言在临床医学中的使用,R语言数据分析和可视化。IDI,综合判别改善指数,也适用于评价不同模型优劣的,比起NRI,IDI能够从整体角度对模型进行评价,和NRI一起使用效果更佳!

医学和生信笔记的博客 3306

在R语言中,基本的算术运算是数据分析和计算的基础

在R语言中,基本的算术运算是数据分析和计算的基础。掌握这些运算不仅是进行统计分析的前提,也是处理医学数据和进行医学研究的关键步骤。本文将详细讲解R语言中的基本算术运算,并通过医学实例进行说明,帮助大家更好地理解和应用这些运算。

MD Code 320

民营企业信用违约风险评价与预警模型研究毕业论文【附数据】

最终,选择带有遗忘因子的极限学习机模型,建立信用违约动态评价模型,以判别民营企业的信用违约风险。实证研究表明,该模型在对186个民营企业的信用风险违约情况进行评估时,训练精度达到94.00%,测试精度达到91.67%。通过对民营企业信用风险的深入分析,研究发现,企业的资产状况、销售利润、资金流动情况、固定资产质押、研发投入、发展趋势、管理能力以及宏观经济环境等因素均与信用违约风险密切相关。例如,企业可以加强财务管理,优化资产负债结构,提升现金流管理能力,增强自身的偿债能力。深度学习在金融中的应用。

算法与数据 833

大数据基础--R语言

目录 1.R语言是解释性语言还是编译性语言? 2.简述R语言的基本功能。 3.R语言通常用在哪些领域? 4.R语言常用的分类和预测算法有哪些? 5.简述如何利用R程序包进行数据分析、建模和数据预测。 6.如何使用“聚类”和“分类”对数据样本进行分组。 7.SparkR DataFrame的作用有哪些? 8.简述SparkR与机器学习的关系。 1.R语言是解释性语言还是编译性...

qq_42681787的博客 1027
上一篇: R数据分析:生存分析的列线图的理解与绘制详细教程
下一篇: R数据分析:生存数据预测模型的建立和评价(二)timeROC与决策曲线
公众号Codewar原创作者
博客等级 码龄7年 2025粉丝 185原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

公众号Codewar原创作者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值