【R语言】AUC值的检验(单样本t检验)

最新推荐文章于 2024-02-25 15:18:01 发布
原创 最新推荐文章于 2024-02-25 15:18:01 发布 · 2.8k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文通过使用t.test函数，对比了模型的AUC值与六位医生诊断的AUC值的平均水平，旨在判断两者是否存在显著差异。代码示例展示了如何进行两样本t检验，为模型评估提供了统计学依据。
来源
  • 函数：t.test
目的
  • 判断模型的AUC值与多位医生的AUC值（平均水平）是否有显著差异
代码
auc_rads = c(0.750, 0.761, 0.854, 0.729, 0.834, 0.851) # 六位医生诊断的AUC值
auc_cnn = 0.884 # 模型的AUC值

t.test(auc_rads, alternative = "two.sided", mu=auc_cnn)

参考资料：

  1. https://www.jianshu.com/p/9606bb1d38c6
使用R语言计算AUC
TechO_O的博客
08-19 1680
本文介绍了使用R语言计算AUC的两种常用方法。第一种方法使用pROC包，通过roc函数计算ROC曲线并使用auc函数计算AUC值。第二种方法使用ROCR包，通过创建prediction对象并使用performance函数计算AUC值。AUC（Area Under the Curve）是评估分类模型性能的一种常用指标，它衡量了模型ROC曲线下的面积，提供了模型在不同阈值下的整体性能评估。在R语言中，我们可以使用不同的包和函数来计算AUC。pROC是一个功能强大的R包，用于计算和绘制ROC曲线以及计算AUC。
比较两个或多个相关ROC曲线的AUC的非参数检验（R语言）
ByteGlide的博客
08-24 1245
在比较两个或多个相关ROC曲线的性能时，常常需要进行AUC（Area Under the Curve）的非参数检验。在本文中，我们将介绍如何使用R语言进行这样的检验，并提供相应的源代码。综上所述，通过使用R语言中的pROC包，我们可以进行相关ROC曲线的AUC比较。这种非参数检验方法能够帮助我们评估和比较不同分类模型的性能，从而做出更准确的模型选择和决策。在R语言中，我们可以使用DeLong等人提出的方法进行相关ROC曲线的AUC比较。是ROC曲线数据，可以是实际数据，也可以是由模型预测得到的数据。
使用R语言计算AUC指标
CyberLynxO的博客
08-25 705
它衡量的是模型的预测结果在不同阈值下的真阳性率和假阳性率之间的面积。AUC的取值范围在0到1之间，数值越接近1表示模型性能越好。需要注意的是，上述示例中使用了随机生成的预测结果和真实标签作为示例数据。在实际应用中，您需要根据自己的数据和模型结果进行相应的替换。在R语言中，可以使用多个包来计算AUC指标，最常用的包包括。接下来，假设我们有一个二分类模型的预测结果。运行以上代码，将得到AUC指标的计算结果。通过以上步骤，您可以使用R语言中的。包为例，演示如何计算AUC指标。是模型预测的概率值。
R语言计算AUC（ROC曲线）的注意事项
医学和生信笔记的博客
01-06 1万+
之前的推文中介绍了ROC曲线的本质以及两面性：这些现在都有成熟的R包可以帮我们搞定，不需要我们手动计算。不过这些包在计算AUC时，默认是计算阳性结果的AUC，这在实际情况中有时会遇到问题，大家在使用时最好手动指定，到底是计算谁的AUC，关于ROC的两面性，可以参考上面的推文。这里以我最常用的ROCR和pROC进行演示。
AUC值及其在R语言中的应用
FgVector的博客
09-17 807
AUC值是ROC曲线（Receiver Operating Characteristic Curve）下的面积，ROC曲线是以不同的分类阈值为基础，绘制出真阳性率（True Positive Rate）（也称为灵敏度）和假阳性率（False Positive Rate）之间的关系曲线。请注意，以上代码仅提供了使用pROC包计算AUC值的示例，实际上R语言中还有其他包和方法可用于计算AUC值，如ROCR包、caret包等。在实际应用中，AUC值可以帮助我们比较不同模型的性能，并选择最佳的模型。
使用R语言计算所需的样本量（效用值的情况下）
HackWhisper的博客
08-19 504
样本量的大小直接影响到研究的效力和结果的可靠性。当我们想要确定所需的样本量时，一个重要的因素是效用值。在本文中，我们将使用R语言来计算在给定效用值的情况下所需的样本量。总结起来，本文介绍了如何使用R语言计算在给定效用值的情况下所需的样本量。通过计算所需的样本量，研究人员可以更好地设计他们的研究，以达到所需的效用值和统计功效。接下来，我们需要确定一些输入参数，包括所需的效用值、显著性水平、研究效果的大小和其他统计参数。你可以根据自己的研究设计和需求，调整输入参数来计算所需的样本量。参数表示所需的效用值，
R语言deLong‘s test：使用自定义函数检验两个ROC曲线的差异是否具有统计显著性、比较两个或多个相关ROC曲线的AUC的非参数检验
statistics+insight+vista+power
02-25 766
R语言deLong's test：使用自定义函数检验两个ROC曲线的差异是否具有统计显著性、比较两个或多个相关ROC曲线的AUC的非参数检验
r语言如何计算t分布临界值_医学统计与R语言：这个Calibration plot有点色！
weixin_39951419的博客
11-20 1559
微信公众号：医学统计与R语言如果你觉得对你有帮助，欢迎转发输入1："rio")结果1：GenderRaceAgeIncomeCigarettesSmoking_status输入2：m3<-lrm(Smoking_status~.,x=T,y=T,data=bilog)newdata<-bilog[101:200,]pred.lg<-pre...
R语言笔记之模型评估度量
鲁鲁酱的博客
01-13 6464
1.回归模型评估度量回归模型的表现度量方式： RMSE：均方误差平方根 校正R^2：对 原始R^2的改进 Cp：在训练集的RSS上加上惩罚 AIC和BIC:基于最大似然值，对参数进行惩罚2.分类模型评估度量分类是指对给定观测样本预测其所属类别，而且类别空间已知，它是有监督学习。> library(dplyr) > library(randomForest) > library(caret)
R语言：数据清洗与t检验，预处理的正确打开方式
[R语言：数据清洗与t检验，预处理的正确打开方式](https://www.reneshbedre.com/assets/posts/outlier/Rplothisto_boxplot_qq_edit.webp?ezimgfmt=ng%3Awebp%2Fngcb2%2Frs%3Adevice%2Frscb2-2) # 1. R语言入门与数据...
AUC的计算及ROC曲线的绘制
04-29
AUC的计算及ROC曲线的绘制， %scores为每个样本属于1类的概率，testclass分为0类和1类 %输出res为AUC面积，计算方式为矩形面积之和，sum1为ROC曲线的tpr和fpr值对
r roc函数_R语言 ROC包 AUC()函数中文帮助文档(中英文对照)
weixin_42495556的博客
01-15 2649
AUC(ROC)AUC()所属R语言包：ROCfunctionals of ROC curve函的ROC曲线译者：生物统计家园网 机器人LoveR描述----------Description----------various functionals of ROC (Receiver Operating Characteristic) curvesROC(受试者工作特征)曲线的各种函用法-----...
R语言使用pROC包绘制ROC曲线实战：roc函数计算AUC值、plot.roc函数绘制ROC曲线、添加置信区间、为回归模型中的每个因子绘制ROC曲线并在同一个图中显示出来
data+scenario+science+insight
09-29 3623
R语言使用pROC包绘制ROC曲线实战：roc函数计算AUC值、plot.roc函数绘制ROC曲线、添加置信区间、为回归模型中的每个因子绘制ROC曲线并在同一个图中显示出来 目录 R语言使用pROC包绘制ROC曲线实战：roc函数计算AUC值、plot.roc函数绘制ROC曲线、添加置信区间、为回归模型中的每个因子绘制ROC曲线并在同一个图中显示出来 #ROC曲线是什么？ #导入包和数据 #使用roc函数计算AUC值及其置信区间（基于bootstrap方法） #直接将roc函数嵌入plot.
ROC(AUC)的显著性检验
医学和生信笔记的博客
09-15 1万+
本文首发于公众号：医学和生信笔记 “ 医学和生信笔记，专注R语言在临床医学中的使用，R语言数据分析和可视化。主要分享R语言做医学统计学、meta分析、网络药理学、临床预测模型、机器学习、生物信息学等。 R语言临床预测模型系列文章，目前已更新20+篇内容，持续更新中，欢迎订阅！ 今天说一说ROC(AUC)的比较。 二分类资料的ROC比较 可以通过pROC包实现的，使用其中roc.test()函数可实现两个ROC 的Delong检验。 使用pROC包的aSAH数据，其中outcome列是结果变量，1代表Goo
R语言 ROC曲线 截断值、特异性、敏感性和曲线下面积AUC值的计算和显示
热门推荐
skywindy1的博客
10-24 2万+
** R语言 ROC曲线 截断值、特异性、敏感性和曲线下面积AUC值的计算和显示 R语言绘制ROC曲线在临床医学中的应用 ** #计算体脂率对诊断妊娠期糖尿病的ROC曲线、截断值 sumExcel1.2018合4_列合并症<- read.csv(“C:\Users\Desktop\sumExcel1_2019071.csv”,sep = “,”,header = TRUE)#读取数据，exc...
K倍交叉验证配对t检验
orDream的博客
03-10 2001
K倍交叉验证配对t检验 比较两个模型性能的K倍配对t检验程序 from mlxtend.evaluate import paired_ttest_kfold_cv 概述 K-fold交叉验证配对t检验程序是比较两个模型（分类器或回归器）性能的常用方法，并解决了重采样t检验程序的一些缺点；然而，这种方法仍然存在训练集重叠的问题，不建议在实践中使用[1]，应该使用配对测试5x2cv等技术。 为了解释这种方法是如何工作的，让我们考虑估计量（例如，分类器）A和B。此外，我们有一个标记数据集D。在公共保持方法中，我们
绘制并比较两条ROC曲线的AUC或偏AUC差异
CodeGu的博客
08-26 735
在R语言中，可以使用pROC包来绘制和比较两条ROC曲线的AUC（Area Under the Curve）或偏AUC（Partial Area Under the Curve）的差异。要比较两条ROC曲线的AUC或偏AUC的差异，可以使用pROC包的roc.test()函数进行假设检验。需要注意的是，如果希望比较偏AUC的差异，可以在roc.test()函数中设置partial.auc参数为TRUE，并指定感兴趣的偏AUC的起始和终止阈值。绘制并比较两条ROC曲线的AUC或偏AUC差异。
Matlab 实现显著性检测模型性能评价算法之AUC
一千零一夜的博客
05-13 1万+
一，AUC预备知识： 1. 常用来评价一个二分类器的优劣。 2. 很多学习器是为测试样本产生一个实值或概率预测，然后这个预测值与一个分类阈值进行比较，若大于阈值则为正类，否则为反类。 3. 实际上，根据这个实值或概率预测结果，可以将测试样本进行排序，"最可能"（实值或概率预测最大）是正例的排在最前面，“最不可能”是正例的排在最后面。这个，分类过程就相当于在这个排序中以某个“截断点”（即阈值）...
r语言bootstrap检验的roc分析
最新发布
02-05
### R语言中实现Bootstrap检验的ROC曲线分析 为了在R语言中实现基于Bootstrap方法的ROC曲线分析，可以利用`pROC`包来计算ROC曲线以及`boot`包来进行Bootstrap抽样。通过这种方法能够评估模型性能并获得更稳健的结果。 #### 安装所需软件包 如果尚未安装这些必要的库，则可以通过下面的命令完成安装： ```r install.packages("pROC") install.packages("boot") ``` #### 加载所需的库 加载用于处理数据集和绘制图形的功能模块： ```r library(pROC) library(boot) ``` #### 准备模拟的数据集 创建一个简单的二分类问题作为例子，其中包含预测概率值与实际标签： ```r set.seed(123) # 设置随机种子以便结果可重现 n <- runif(n, min = 0, max = 1) # 随机生成预测概率 labels <- as.factor(ifelse(predictions > median(predictions), "positive", "negative")) # 创建类别标签 data_frame <- data.frame(Predictions=predictions, Labels=labels) # 组织成DataFrame结构 ``` #### Bootstrap ROC 曲线函数定义 编写自定义函数以适应于`boot::boot()`函数的要求，在每次迭代过程中重新估计一次ROC曲线下面积(AUC)，并将AUC存储起来供后续统计测试使用。 ```r bootstrap_roc_auc <- function(data, indices){ d <- data[indices, ] # 对原数据进行重采样 roc_obj <- roc(d$Labels ~ d$Predictions) # 计算当前样本下的ROC对象 auc_value <- auc(roc_obj) # 提取AUC数值 return(auc_value) } ``` #### 执行Bootstrap过程 调用上述编写的辅助函数，并指定重复次数（例如1000次），从而得到一系列由不同子样本所对应的AUC测量值分布情况。 ```r results <- boot(data=data_frame, statistic=bootstrap_roc_auc, R=1000L) print(results$t0) # 输出原始样本上的AUC hist(results$t, main="Histogram of Bootstrapped AUCs") # 展示直方图形式的结果可视化 summary(results) # 查看汇总统计数据 confint(results, type="perc", conf=0.95) # 获取置信区间 ``` 以上流程展示了如何结合`pROC`和`boot`这两个强大的工具箱，在R环境中高效地实施带有Bootstrap验证机制的ROC曲线分析工作流[^1][^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值