机器学习中——常见二元分类性能指标(准确率、精确率、召回率、F1值、ROC AUC得分)

本文通过垃圾短信分类器的例子,介绍了二元分类的性能指标:准确率、精准率、召回率、F1值和ROC AUC。准确率衡量预测正确比例,精准率表示阳性预测正确比例,召回率表示真实阳性实例被识别的比例,F1值是精准率和召回率的调和平均数,ROC AUC则展示了分类器对所有阈值的性能,且对类别不平衡不敏感。

接下来以垃圾信息分类器作为例子说明:

一、垃圾短信分类器

对于垃圾短信分类器,当分类器将一条短信正确地预测为垃圾短信时为真阳性;当分类器将一条短信正确地预测为非垃圾短信时为真阴性;当非垃圾信息被预测为垃圾信息时为假阳性;当垃圾信息被预测为非垃圾信息时为假阴性;

垃圾信息 非垃圾信息
预测为垃圾信息 真阳性(TP) 假阳性(FP)
预测为非垃圾信息 假阴性(FN) 真阴性(TN)

二、二元分类性能指标

1. 准确率

准确率用来衡量分类器预测正确的比例。但它不能区分假阳性错误和假阴性错误。

2. 精准率和召回率

精准率表示阳性预测结果为正确的比例,在垃圾短信分类器中,精准率表示被分类为垃圾短信的信息实际上为垃圾短信的比例。
真阳性+真阴性 真阳性+真阴性+假阳性+假阴性 \frac{\text{真阳性+真阴性}}{\text{真阳性+真阴性+假阳性+假阴性}}

学习机器学习评估指标准确率精确召回率F1ROC曲线)及交叉验证等模型选择方法,可以从以下几个方面入手: ### 理论学习 - **了解评估指标概念**:准确率是指分类正确的样本占总样本的比例,直观易理解,但在类别不平衡时失效,适用于平衡数据集;精确是指预测为正例的样本中真正为正例的比例;召回率是指真正为正例的样本中被预测为正例的比例;F1精确召回率的调和平均数,能平衡精确度与召回率,适用于不均衡数据、二分类任务;ROC曲线是以假正为横轴、真正为纵轴绘制的曲线,AUCROC曲线下的面积,AUC不受阈影响,但仅适用于二分类,适用于类别不平衡的二分类任务 [^1][^3]。 - **掌握交叉验证原理**:交叉验证是一种将数据集划分为多个子集,轮流将其中一个子集作为验证集,其余子集作为训练集进行模型训练和评估的方法,能够更全面地评估模型的泛化能力。 ### 实践操作 - **使用Python库进行计算**:可以使用`sklearn`库中的相关函数来计算这些评估指标。以下是一个示例代码: ```python from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score from sklearn.model_selection import cross_val_score from sklearn.linear_model import LogisticRegression from sklearn.datasets import make_classification import numpy as np # 生成示例数据 X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_redundant=0, random_state=42) # 创建模型 model = LogisticRegression() # 交叉验证 cv_scores = cross_val_score(model, X, y, cv=5) print("交叉验证平均得分:", np.mean(cv_scores)) # 划分训练集和测试集 train_size = int(len(X) * 0.8) X_train, X_test = X[:train_size], X[train_size:] y_train, y_test = y[:train_size], y[train_size:] # 训练模型 model.fit(X_train, y_train) # 预测 y_pred = model.predict(X_test) y_proba = model.predict_proba(X_test)[:, 1] # 计算评估指标 accuracy = accuracy_score(y_test, y_pred) precision = precision_score(y_test, y_pred) recall = recall_score(y_test, y_pred) f1 = f1_score(y_test, y_pred) auc = roc_auc_score(y_test, y_proba) print("准确率:", accuracy) print("精确:", precision) print("召回率:", recall) print("F1:", f1) print("AUC:", auc) ``` - **分析结果**:通过计算得到的评估指标和交叉验证结果,分析模型的性能。如果准确率高,说明模型整体分类效果较好;如果精确召回率差异较大,可能需要调整模型或阈F1越高,说明精确召回率越平衡;AUC越接近1,说明模型的分类能力越强。 ### 案例学习 - **参考实际案例**:可以参考一些公开的机器学习竞赛或实际项目案例,了解在不同场景下如何选择合适的评估指标和模型选择方法。 - **自己动手实践**:选择一些公开数据集,如鸢尾花数据集、手写数字数据集等,自己构建模型并使用上述评估指标和交叉验证方法进行评估和选择。 ### 持续学习 - **关注最新研究和技术**:机器学习领域发展迅速,不断有新的评估指标和模型选择方法出现,需要持续关注相关的研究和技术,不断学习和更新知识。 - **参与讨论和交流**:可以加入机器学习相关的社区或论坛,与其他爱好者和专业人士进行讨论和交流,分享经验和心得。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值