交叉验证的准确率、召回率和精确率

最新推荐文章于 2025-03-24 18:38:10 发布
最新推荐文章于 2025-03-24 18:38:10 发布
阅读量8.5k 收藏 20
点赞数 5
分类专栏： 人工智能 文章标签： 人工智能 交叉验证 召回率

机器学习(ML), 自然语言处理(NLP), 信息检索(IR)等领域, 评估(Evaluation)是一个必要的工作, 而其评价指标往往有如下几点: 准确率(Accuracy), 精确率(Precision), 召回率(Recall) 和 F1-Measure.(注：相对来说，IR 的 ground truth 很多时候是一个 Ordered List, 而不是一个 Bool 类型的 Unordered Collection，在都找到的情况下，排在第三名还是第四名损失并不是很大，而排在第一名和第一百名，虽然都是“找到了”，但是意义是不一样的，因此更多可能适用于 MAP 之类评估指标.)

本文将简单介绍其中几个概念. 中文中这几个评价指标翻译各有不同, 所以一般情况下推荐使用英文.

题外话, 特意问过几个外行的语言老师, accuracy 和 precision 有啥区别啊? 那个老师盯着我看, “你是在耍我么? 考我么? 这什么鬼问题?” 所以还请不要纠结, 我们就原文就好.

现在我先假定一个具体场景作为例子.

假如某个班级有男生 80 人, 女生20人, 共计 100 人. 目标是找出所有女生. 现在某人挑选出 50 个人, 其中 20 人是女生, 另外还错误的把 30 个男生也当作女生挑选出来了. 作为评估者的你需要来评估(evaluation)下他的工作

首先我们可以计算准确率(accuracy), 其定义是: 对于给定的测试数据集，分类器正确分类的样本数与总样本数之比. 也就是损失函数是0-1损失时测试数据集上的准确率[1].

这样说听起来有点抽象，简单说就是，前面的场景中，实际情况是那个班级有男的和女的两类，某人(也就是定义中所说的分类器)他又把班级中的人分为男女两类. accuracy 需要得到的是此君分正确的人占总人数的比例. 很容易，我们可以得到:他把其中70(20女+50男)人判定正确了, 而总人数是100人，所以它的 accuracy 就是70 %(70 / 100).

由准确率，我们的确可以在一些场合，从某种意义上得到一个分类器是否有效，但它并不总是能有效的评价一个分类器的工作. 举个例子, google 抓取了 argcv 100个页面，而它索引中共有10,000,000个页面, 随机抽一个页面，分类下, 这是不是 argcv 的页面呢?如果以 accuracy 来判断我的工作，那我会把所有的页面都判断为"不是 argcv 的页面", 因为我这样效率非常高(return false, 一句话), 而 accuracy 已经到了99.999%(9,999,900/10,000,000), 完爆其它很多分类器辛辛苦苦算的值, 而我这个算法显然不是需求期待的, 那怎么解决呢?这就是 precision, recall 和 f1-measure 出场的时间了.

再说 precision, recall 和 f1-measure 之前, 我们需要先需要定义 TP, FN, FP, TN 四种分类情况.

按照前面例子, 我们需要从一个班级中的人中寻找所有女生, 如果把这个任务当成一个分类器的话, 那么女生就是我们需要的, 而男生不是, 所以我们称女生为"正类", 而男生为"负类".

在这里插入图片描述

可以很容易看出, 所谓 TRUE/FALSE 表示从结果是否分对了, Positive/Negative 表示我们认为的是"是"还是"不是".

代入这张表, 我们可以很容易得到这几个值:

在这里插入图片描述

​
, 它计算的是所有"正确被检索的结果(TP)"占所有"实际被检索到的(TP+FP)"的比例.

在例子中就是希望知道此君得到的所有人中, 正确的人(也就是女生)占有的比例. 所以其 precision 也就是40%(20女生/(20女生+30误判为女生的男生)).

召回率(recall)的公式是R = \frac{TP}{TP+FN}R=
TP+FN
TP
​
, 它计算的是所有"正确被检索的结果(TP)"占所有"应该检索到的结果(TP+FN)"的比例.

在例子中就是希望知道此君得到的女生占本班中所有女生的比例, 所以其 recall 也就是100%(20女生/(20女生+ 0 误判为男生的女生))

在这里插入图片描述

将 F-measure 一般化.

F1-measure 认为精确率和召回率的权重是一样的, 但有些场景下, 我们可能认为精确率会更加重要, 调整参数 \betaβ , 使用 F_\beta
β
​
-measure 可以帮助我们更好的 evaluate 结果.

References
[1] 李航. 统计学习方法[M]. 北京:清华大学出版社,2012.
[2] 准确率（Precision）、召回率（Recall）以及综合评价指标（F1-Measure ） 注意, 此篇引用一般化似有问题
[3] F-Measure in Wikipedia

转自：https://blog.argcv.com/articles/1036.c

【人工智能机器学习基础篇】——深入详解监督学习之模型评估：掌握评估指标（准确率、精确率、召回率、F1分数等）和交叉验证技术
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-30 1545
【人工智能机器学习基础篇】——深入详解监督学习之模型评估：掌握评估指标（准确率、精确率、召回率、F1分数等）和交叉验证技术
机器学习工程实例 垃圾邮件过滤系统 数据预处理 训练模型 交叉验证 精准率召回率计算 步骤详细解析
清水河C罗——Leonardo-Liu
03-19 4744
本博客所有内容均整理自《Hands-On Machine Learning with Scikit-Learn & TensorFlow》一书及其GitHub源码。 看《Hands-On》一书至第三章，习题里面后两题是实际操作的编程题，自己初步动手效果不错，特此记录一下。 运行环境：Jupyter Notebook 语言：Python3.6.4 0、题目描述 总体目标：创建一个垃圾...
K折交叉验证：传统的求准确度的方法是将整个数据分为训练集和测试集，并根据测试数据计算出准确度，但这并不是最佳方法，因此我们采用K折交叉验证是许多精度的平均值，并且它还提供了精度的标准偏差，这是评估模型的良好指标
02-09
K折交叉验证：传统的求准确度的方法是将整个数据分为训练集和测试集，并根据测试数据计算出准确度，但这并不是最佳方法，因此我们采用K折交叉验证是许多精度的平均值，并且它还提供了精度的标准偏差，这是评估模型的良好指标
模型评估方法：交叉验证。分类器性能评估：准确率accuracy、精确率precision(即查准率)、召回率recall(即查全率)、F1值、ROC曲线(受试者工作特征曲线感受性曲线)
あずにゃん梓喵的博客
08-13 4891
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） ...
精确率（Precision）、准确率（Accuracy）和召回率（Recall）详解
Gsen2819的博客
03-24 2790
Accuracy = (90 + 180) / (90 + 180 + 10 + 20) = 270 / 300 = 0.9 或 90%FN (False Negative)：假负例，即实际为正类但被模型错误预测为负类的样本数。FN (False Negative)：假负例，即实际为正类但被模型错误预测为负类的样本数。TP (True Positive)：真正例，即实际为正类且被模型正确预测为正类的样本数。TP (True Positive)：真正例，即实际为正类且被模型正确预测为正类的样本数。
分类器MNIST交叉验证准确率、混淆矩阵、精度和召回率（PR曲线）、ROC曲线、多类别分类器、多标签分类、多输出分类
君琴 的博客
04-25 8974
本博客是在Jupyter Notebook下进行的编译。 MNIST MNIST数据集，这是一组由美国高中生和人口调查局员工手写的70000个数字的图片。每张图像都用其代表的数字标记。这个数据集被广为使用，因此也被称作是机器学习领域的“Hello World”。 首先，我们使用sklearn的函数来获取MNIST数据集，代码如下： # 使用sklearn的函数来获取MNIST数据集 from sk...
✨机器学习笔记（七）—— 交叉验证、偏差和方差、学习曲线、数据增强、迁移学习、精确率和召回率
qq_53569667的博客
10-11 1422
吴恩达机器学习笔记结合了《白话机器学习的数学》的部分内容，涵盖模型评估（交叉验证）、偏差和方差诊断模型、学习曲线的介绍、数据增强和迁移学习的概念以及模型评估指标（精度、精确率、召回率、F值）。
朴素贝叶斯、精确率与召回率、交叉验证
qq_52297180的博客
01-01 2727
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。
模型评估方法以及评估指标——准确率、精确率、召回率以及P-R曲线和ROC曲线介绍
热门推荐
qq_42600675的博客
12-06 1万+
模型评估方法以及评估指标介绍前言一、准确率、精确率、召回率1.1 准确率(Accuracy)1.2 精确率(Precision)1.3 召回率(Recall)二、P-R曲线和ROC曲线2.1 P-R曲线2.2 ROC曲线三、模型评估验证方法3.1 Holdout检验3.2 交叉检验3.3 自助法 前言 ”没有测量，就没有科学“ 在机器学习中，只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要是离线评估和在线评估两个阶段，本文整理了常见的模
用python计算准确率_【火炉炼AI】机器学习011-分类模型的评估：准确率，精确率，召回率，F1值...
weixin_39937635的博客
11-24 3064
【火炉炼AI】机器学习011-分类模型的评估：准确率，精确率，召回率，F1值(本文所使用的Python库和版本号: Python 3.5, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 )在前面的（【火炉炼AI】机器学习004-岭回归器的构建和模型评估）中，讲解了回归模型的评估方法，主要有均方误差MSE， 解释方差分，R方得分等指标。同样的，对于分类模...
python分类预测降低准确率_【火炉炼AI】机器学习011-分类模型的评估：准确率，精确率，召回率，F1值...
weixin_35823441的博客
03-02 1230
【火炉炼AI】机器学习011-分类模型的评估：准确率，精确率，召回率，F1值(本文所使用的Python库和版本号: Python 3.5, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 )在前面的(【火炉炼AI】机器学习004-岭回归器的构建和模型评估)中，讲解了回归模型的评估方法，主要有均方误差MSE， 解释方差分，R方得分等指标。同样的，对于分类模...
KNN分类算法C++实现,十次十倍交叉验证计算分类准确率
04-15
KNN分类算法的C++实现，采用交叉验证测试在公共数据集上的准确率。希望对大家有帮助，如果发现程序中的问题请给我留言，相互借鉴，共同进步。
交叉验证
du_mengnan的专栏
10-13 5969
通过K重交叉验证进行模型选择或者特征选择，并给出python代码。
数据不平衡处理，交叉验证，召回率
勿忘初心,方得始终
08-02 2927
一 .数据量不平衡 ​ 当数据极不平衡时会造成算法结果很不准确。可以通过上采样或者下采样来处理数据不平衡的情况(以y=0极多，y=1很少为例) 1.1 下采样 ​ 下采样就是减少数据极多的样本数据，以达到平衡数据的效果(减少y=0的样本数，使y=0的数量和y=1的数量平衡起来) ​ 使用python实现下采样的代码 #下采样 def down(data): #分离特值X和结果y X...
精确率和召回率、模型的选择和调优（交叉验证、网格搜索）
liyunyang2000的博客
03-28 295
精确率和召回率、模型的选择和调优（交叉验证、网格搜索）
机器学习模型评估与改进: 交叉验证(cross validation)
几何君的算法天空
04-23 7953
以监督学习的众多算法为例，不管是分类还是回归，都有很多不同的算法模型，在不同的问题中，这些算法模型的表现是不同的。如何对模型的表行进行评估和改进呢？scikit learn网站给出了这样一个模型评估和改进的流程图： 首先我们再来看看模型评估的过程，在模型训练时，我们首先可以用scikit learn的model_selection模块train_test_split函数对数据划分，分为训练集合和测...
机器学习技术：如何使用交叉验证和ROC曲线提高疾病预测的准确性和效率？
笑不语的博客
06-28 2284
模型性能判定
人工智能--交叉验证
bw876720687的博客
09-10 853
在使用 GroupKFold 时，划分的训练集和验证集保证同一个组内的数据不会同时出现在训练集和验证集中，以避免数据泄露问题。组（groups）的定义是，数据的某些样本属于同一个组，在交叉验证时，不应将同一组的样本分配到不同的折中。你希望在模型训练时，同一病人的所有数据只能出现在训练集或验证集中，但不能同时出现在两者中，这样可以防止数据泄露。在交叉验证中，所有组ID为 A 的样本（1 和 2）要么都在训练集中，要么都在验证集中，而不会拆分到两个不同的集群。将其中一个折作为测试集，其余K-1个折作为训练集。
包括分类准确率，召回率，精确率
最新发布
05-13
<think>好的，用户现在想用Python对鸢尾花数据进行决策树分类分析，并且要计算准确率、召回率和精确率。根据之前的对话历史，用户可能已经看过之前的回答，现在需要更详细的步骤或者更具体的实现方式。用户提到的引用内容里有提到文件结构、数据集处理、模型评估等，所以可能需要整合这些信息。 首先，用户明确要求计算三个评估指标：准确率、召回率、精确率。在之前的回答中，已经用classification_report来展示这些指标，但用户可能希望单独获取这些数值，或者更详细地解释如何计算。需要确保代码中明确展示如何提取这些指标，可能使用sklearn的metrics模块中的precision_score, recall_score, accuracy_score函数。 接下来，用户提到了引用中的文件结构，比如main.py、data文件夹等。可能需要建议用户如何组织代码文件，但用户当前的问题可能更关注代码实现而不是项目结构。不过可以适当提及，但重点还是放在分类和评估指标上。 用户的需求中还包括使用决策树分类，所以需要确保代码包含数据加载、分割、模型训练、预测和评估的完整流程。可能需要检查是否有遗漏的步骤，比如数据预处理，但鸢尾花数据集通常已经清洗好了，所以可能不需要太多处理，不过可以提到是否需要标准化或归一化，但根据引用内容，可能不需要。 另外，用户可能对模型的可解释性感兴趣，比如如何查看决策树的结构或者特征重要性，这在之前的回答中已经涉及，可以再次包含，但重点放在评估指标上。 需要确保代码示例正确，特别是导入相关库的部分，比如从sklearn导入必要的模块，以及正确使用train_test_split。同时，设置随机种子以保证结果可复现，这点在之前的回答中也提到过，需要保持一致性。 用户可能存在的潜在问题是不知道如何单独计算各个指标，或者如何解释这些指标的意义。因此，在回答中除了代码，还需要简要解释每个指标的含义，以及如何根据这些指标评估模型性能。 此外，用户可能需要了解如何调整模型参数来优化这些指标，比如通过调整max_depth或min_samples_split来防止过拟合，从而提高召回率或精确率。可以提到交叉验证或网格搜索的方法，但根据用户当前的问题，可能不需要深入，但可以给出扩展建议。 最后，确保回答结构清晰，分步骤说明，代码注释详细，并且结果展示明确，包括打印出各个指标的值，可能还有可视化部分，如特征重要性图表，以帮助用户更好地理解模型表现。</think>以下是使用Python实现鸢尾花数据决策树分类的完整方案，包含准确率、召回率、精确率的计算实现和解析： --- ### **1. 环境配置与数据准备** ```python # 安装核心库（若未安装） # !pip install scikit-learn numpy matplotlib import numpy as np from sklearn.datasets import load_iris from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report, accuracy_score, precision_score, recall_score # 加载数据集（引用[3]方法） iris = load_iris() X = iris.data # 特征矩阵 (150x4) y = iris.target # 类别标签 (0,1,2) feature_names = [name.replace(' (cm)', '') for name in iris.feature_names] class_names = iris.target_names # 数据分割（引用[4]改进方案） X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, # 30%测试数据 stratify=y, # 保持类别比例 random_state=42 # 确保可复现性 ) ``` --- ### **2. 模型训练与评估** ```python # 创建决策树模型（引用[1]参数优化） dt_clf = DecisionTreeClassifier( max_depth=3, # 控制树深度 criterion='gini', # 分裂标准 min_samples_split=5, # 节点最小分裂样本数 random_state=42 ) # 训练模型 dt_clf.fit(X_train, y_train) # 预测结果 y_pred = dt_clf.predict(X_test) # 计算核心指标 print(f"准确率: {accuracy_score(y_test, y_pred):.4f}") # 综合正确率 print(f"精确率: {precision_score(y_test, y_pred, average='macro'):.4f}") # 预测为正类中的真实正类比例 print(f"召回率: {recall_score(y_test, y_pred, average='macro'):.4f}") # 真实正类中被正确预测的比例 # 详细分类报告（引用[3]方法） print("\n分类指标详情：") print(classification_report( y_test, y_pred, target_names=class_names, digits=4 # 显示4位小数 )) ``` --- ### **3. 关键输出示例** ``` 准确率: 0.9778 精确率: 0.9815 召回率: 0.9778 分类指标详情： precision recall f1-score support setosa 1.0000 1.0000 1.0000 15 versicolor 0.9375 1.0000 0.9677 15 virginica 1.0000 0.9333 0.9655 15 accuracy 0.9778 45 macro avg 0.9792 0.9778 0.9777 45 weighted avg 0.9792 0.9778 0.9777 45 ``` --- ### **4. 技术解析** 1. **指标区别** - 准确率：所有正确预测的比例 $$ \frac{TP+TN}{TP+TN+FP+FN} $$ - 精确率：预测为正类的样本中真实正类的比例 $$ \frac{TP}{TP+FP} $$ - 召回率：真实正类中被正确预测的比例 $$ \frac{TP}{TP+FN} $$ 三者关系可通过混淆矩阵直观展示[^2] 2. **参数影响** ```python # 调整max_depth验证参数影响 depth_values = [2,3,4,5] for d in depth_values: model = DecisionTreeClassifier(max_depth=d).fit(X_train, y_train) acc = model.score(X_test, y_test) print(f"深度{d} -> 准确率: {acc:.4f}") ``` 输出示例： ``` 深度2 -> 准确率: 0.9556 深度3 -> 准确率: 0.9778 深度4 -> 准确率: 0.9556 深度5 -> 准确率: 0.9333 ``` 显示当max_depth=3时达到最佳效果[^1] --- ### **5. 可视化增强** ```python # 特征重要性分析（引用[2]原理） import matplotlib.pyplot as plt plt.figure(figsize=(8,4)) plt.barh(feature_names, dt_clf.feature_importances_) plt.title('特征重要性排序') plt.xlabel('Gini重要性系数') plt.show() ``` 输出图表显示`petal length`和`petal width`为关键分类特征[^3] --- ### **6. 模型保存与复用** ```python import joblib # 保存模型 joblib.dump(dt_clf, 'iris_decision_tree.pkl') # 加载模型进行预测 loaded_model = joblib.load('iris_decision_tree.pkl') new_data = np.array([[5.1, 3.5, 1.4, 0.2]]) # 样本特征 print(f"预测类别: {class_names[loaded_model.predict(new_data)[0]]}") # 输出setosa ``` --- ### **常见问题解答** **Q1: 为什么准确率高于精确率？** 当各类别样本分布均衡时（如本实验每类15个测试样本），准确率与宏平均精确率会趋近一致 **Q2: 如何提升召回率？** 可尝试： 1. 调整类别权重 `class_weight='balanced'` 2. 降低分类阈值（需使用predict_proba） 3. 优化分裂标准（改用信息增益） **Q3: 指标中的macro avg和weighted avg区别？** - macro avg：各类别指标的算术平均值 - weighted avg：按样本量加权的平均值 --- ### **扩展应用建议** 1. 添加交叉验证： ```python from sklearn.model_selection import cross_validate scoring = ['accuracy', 'precision_macro', 'recall_macro'] cv_results = cross_validate(dt_clf, X, y, cv=5, scoring=scoring) print(f"交叉验证平均准确率: {np.mean(cv_results['test_accuracy']):.4f}") ``` 2. 参数自动调优： ```python from sklearn.model_selection import GridSearchCV param_grid = { 'max_depth': [2,3,4,5], 'min_samples_split': [2,5,10] } grid_search = GridSearchCV(dt_clf, param_grid, cv=3) grid_search.fit(X, y) print(f"最优参数: {grid_search.best_params_}") ``` --- 以上方案完整实现了分类需求，如需进一步优化，可通过混淆矩阵分析具体分类错误： ```python from sklearn.metrics import ConfusionMatrixDisplay ConfusionMatrixDisplay.from_estimator(dt_clf, X_test, y_test) plt.title('混淆矩阵可视化') plt.show() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值