Chapter5 .7 ROC Curves

最新推荐文章于 2025-09-09 12:48:34 发布
最新推荐文章于 2025-09-09 12:48:34 发布
阅读量665 收藏
点赞数
分类专栏： 《数据挖掘-实用机器学习工具与技术》学习笔记 文章标签： 学习笔记 数据挖掘
本文详细介绍了机器学习中常用的评估指标，包括阳性、阴性、真阳性、真阴性等概念，以及真阳性率、伪阳性率、准确度等关键指标的计算方法，并解释了这些指标在实际应用中的意义。


more ...

http://blog.youkuaiyun.com/pkueecser/article/details/8229166

阳性 (P, positive) 阴性 (N, Negative) 真阳性 (TP, true positive)
正确的肯定。又称：命中 (hit)
真阴性 (TN, true negative)
正确的否定。又称：正确拒绝 (correct rejection)
伪阳性 (FP, false positive)
错误的肯定，又称：假警报 (false alarm)， 第一型错误
伪阴性 (FN, false negative)
错误的否定，又称：未命中 (miss)， 第二型错误
真阳性率 (TPR, true positive rate)
又称：命中率 (hit rate)
TPR = TP / P = TP / (TP+FN)
伪阳性率(FPR, false positive rate)
又称：错误命中率，假警报率 (false alarm rate)
FPR = FP / N = FP / (FP + TN)
准确度 (ACC, accuracy)
ACC = (TP + TN) / (P + N)
即：(真阳性+真阴性) / 总样本数
真阴性率 (TNR)
又称：特异度 (SPC, specificity)
SPC = TN / N = TN / (FP + TN) = 1 - FPR
阳性预测值 (PPV)
PPV = TP / (TP + FP)
阴性预测值 (NPV)
NPV = TN / (TN + FN)
假发现率 (FDR)
FDR = FP / (FP + TP)
Matthews相关系数 (MCC)，即  Phi相关系数
MCC = (TP*TN - FP*FN) / \sqrt{P N P' N'}
F1评分
F1 = 2TP/(P+P')
Source: Fawcett (2006).

MLaPP Chapter 5 Bayesian statistics 贝叶斯统计
张小彬的专栏
02-08 4457
5.1 Introduction 介绍在第三章我们讨论了如果用最大化后验（MAP）做参数估计，即 θ^=argmaxp(θ|D)\hat\theta = \arg\max_p(\theta | \mathcal{D})，和计算全后验 p(θ|D)p(\theta|\mathcal{D}) 和计算后验预测密度（posterior predictive density） p(x|D)p(\mathbf{
【Chapter 3】Machine Learning Classification Case_Prediction of diabetes-XGBoost
KennethYuen
11-12 1729
This article will utilize the diabetes dataset to construct an XGBoost classification prediction model through Python code and the Sentosa_DSML community edition, respectively. Subsequently, the model will be evaluated, including the selection and analysis
ROC 曲线/准确率、覆盖率（召回）、命中率、Specificity（负例的覆盖率）
weixin_33896069的博客
05-03 2459
  欢迎关注博主主页，学习python视频资源 sklearn实战-乳腺癌细胞数据挖掘（博主亲自录制视频教程） https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_med...
Chapter 3 Classification （mnist数据集）
sinat_41942180的博客
03-21 1489
设置 1 获取数据 from sklearn.datasets import fetch_mldata mnist = fetch_mldata('MNIST original') minst 训练一个而分类 对性能的评估 1.使用交叉验证测量准确性 2.混淆矩阵 （1）准确率与召回率之间的折衷 （2）ROC曲线 多类分类 误差分析 多标签分类 多输出分类 ...
《机器学习》Chapter 3 线性模型
NZR的blog
05-02 786
《机器学习》Chapter 3 线性模型 3.1 基本形式 f(x)=wTx+b， f(x)=w^Tx+b， f(x)=wTx+b， 其中w=(w1;w2;……wd).w和b学得之后，模型得以确定； 先从回归任务开始，然后讨论二分类和多分类任务。 3.2 线性回归 ​ 线性回归的基本思想是采用对输入样例各个特征进行线性加权的方式得到预测的输出，并将预测的输出和真实值的均方误差最小化。 如果输入样例只有一个特征，那这个过程就是用一条直线去拟合平面直角坐标系上的点； 如果有两个特征，表现在平面
Scikit-learn与Tensorflow_Aurelien——2017学习笔记 chapter3
zhuiyuanzhongjia的博客
06-11 346
ClassificationMNIST函数：fetch_mldata(), permutation(), SGDClassifier(),fit(),predict(),StratifiedKFold(),cross_val_score(),cross_val_predict()Performance Measures    Measuring Accuracy Using Cross-Valid...
Introduction.to.Machine.Learning.with.Python 笔记
bbbeoy的专栏
07-31 2813
Python 3.0+ Chapter One from preamble import * %matplotlib inline import numpy as np x = np.array([[1, 2, 3], [4, 5, 6]]) print("x:\n{}".format(x)) from scipy import sparse # create a 2d NumPy
西瓜书《机器学习》阅读笔记4——Chapter2_代价曲线
CodeTutor
09-06 4742
代价曲线书中关于代价曲线介绍的太简洁了，只靠书中的内容是无法理解的。建议大家去看原论文。从分类器的ROC曲线上无法看出分类器的期望代价，而代价曲线是专门用于度量期望代价和operating condition之间的关系的。在介绍ROC曲线的时候提到过一组指定的（类别分布，误分类代价）称作一个operating condition，并且对应ROC空间中的一簇iso-performance直线。C(+|
cp5_Compressing Data via Dimensionality Reduction_feature extraction_PCA_LDA_convergence_kernel PCA
Linli522362242的专栏
04-14 3863
cp5_Compressing Data via Dimensionality Reduction_feature extraction_PCA_LDA_convergence_kernel PCA
Visualizing Model Performance: Plotting ROC Curves and AUC Values
# Visualizing Model Performance: Plotting ROC Curves and Calculating AUC Values ## 1. The Importance of Model Performance Evaluation In the process of building machine learning models, evaluating ...
Beyond Precision and Recall: The Application of F1 Score and ROC Curve
# Beyond Precision and Recall: The Application of F1 Score and ROC Curve # 1. Theoretical Foundation of Precision and Recall In any classification task evaluation, precision and recall are the most ...
Model Comparison: 5 Strategies to Avoid Traps and Choose the Right Model
# Model Selection Avoiding Pitfalls: 5 Strategies to Help You Choose the Right Model ## 1.1 Why Model Selection is Critical In machine learning projects, choosing the right model is crucial for ...
【智能协同云图库】基于统一接口架构构建多维度分析功能、结合 ECharts 可视化与权限校验实现用户 / 管理员图库统计、通过 SQL 优化与流式处理提升数据
Purse Wind 的个人博客
09-09 1076
本节围绕提升空间图库管理分析能力，先分用户与管理员两类梳理资源使用、分类、标签等 6 大分析需求，再设计统一实现流程与接口方案，最后通过分层开发完成各需求后端功能，覆盖权限校验、数据处理与接口编写。
online_2.12-0.0.41-sources.jar
09-09
online_2.12-0.0.41-sources.jar
online_2.11-0.0.101.jar
最新发布
09-10
online_2.11-0.0.101.jar
solr-plugins-0.3-javadoc.jar
09-10
solr-plugins-0.3-javadoc.jar
sbt-shuwari-mode-0.10.1-sources.jar
09-09
sbt-shuwari-mode-0.10.1-sources.jar
catboost-spark-macros_2.12-1.0.4-javadoc.jar
09-09
catboost-spark-macros_2.12-1.0.4-javadoc.jar
peers-doc-0.5.1.jar
09-10
peers-doc-0.5.1.jar
1.3.5年ROC曲线
01-31
### 绘制和解释ROC曲线 在机器学习模型评估中，接收者操作特征（Receiver Operating Characteristic, ROC）曲线是一种常用的工具来展示分类器的性能。对于给定的数据集，在不同阈值下计算真正率(True Positive Rate, TPR) 和假正率(False Positive Rate, FPR)，并将其绘制成图。 #### 计算TPR和FPR 为了构建ROC曲线，需要遍历所有可能的概率阈值，并针对每一个阈值分别统计真阳性和假阳性数量。具体来说： - **真正率 (TPR)** 或召回率定义为 `TP / (TP + FN)` ，其中 TP 表示实际为正类且被正确预测的数量；FN 是指实际上属于正类却被错误地标记成负类的情况。 - **假正率 (FPR)** 定义为 `FP / (FP + TN)` 。这里 FP 指的是原本不属于目标类别却误判为该类别的实例数目；TN 则表示那些既不是目标也不被认为是目标的对象数目的总和。 通过改变决策函数中的置信度得分临界值可以得到一系列不同的(TPR,FPR)坐标点，这些点构成了最终看到的ROC曲线[^1]。 #### 使用Python绘制ROC曲线 下面是一个简单的例子说明如何利用Scikit-Learn库创建一个逻辑回归模型并对测试样本进行评分后画出相应的ROC曲线: ```python from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.datasets import make_classification # 创建模拟数据集 X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, weights=[0.9, 0.1], random_state=42) # 将数据分为训练集和验证集 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=.5, stratify=y, random_state=42) clf = LogisticRegression().fit(X_train, y_train) probas_pred = clf.predict_proba(X_test) fpr, tpr, thresholds = roc_curve(y_test, probas_pred[:, 1]) roc_auc = auc(fpr, tpr) plt.figure() lw = 2 plt.plot(fpr, tpr, color='darkorange', lw=lw, label=f'ROC curve (area = {roc_auc:.2f})') plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver operating characteristic example') plt.legend(loc="lower right") plt.show() ``` 这段代码首先生成了一个不平衡的人工二元分类问题作为输入数据，接着拟合了一次逻辑回归分析过程，最后基于此模型产生的概率分数制作了ROC图形及其曲线下面积(AUC)[^2]。 #### 解读ROC曲线的意义 当面对高度偏斜的数据分布时，即某一类远多于另一类的情形下，仅依赖准确性的评价方式会显得不足甚至误导性很强。此时，查看ROC曲线可以帮助更全面地理解模型的表现特性。特别是如果关注的重点在于识别少数群体成员，则应更加重视高特异性区域内的表现情况——即使这意味着牺牲一些敏感度以换取更好的整体平衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值