ovo以及ovr的直观理解

最新推荐文章于 2024-09-14 10:46:43 发布
原创 最新推荐文章于 2024-09-14 10:46:43 发布 · 3.2k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了多分类问题的解决策略，如直接多分类、一对一同构（OVO）、一对其余（OVR），并详细解释了多标签问题的处理方法，即将其转化为多个二分类问题，通过标签补齐和计算损失与精度来实现有效分类。

多分类问题与二分类问题关系

在这里插入图片描述首先，两类问题是分类问题中最简单的一种。其次，很多多类问题可以被分解为多个两类问题进行求解（请看下文分解）。所以，历史上有很多算法都是针对两类问题提出的。下面我们来分析如何处理多分类问题：

直接分成多类

在这里插入图片描述

一对一的策略（OVO）

给定数据集D这里有N个类别，这种情况下就是将这些类别两两配对，从而产生N(N−1)2个二分类任务，在测试的时候把样本交给这些分类器，然后进行投票。
在这里插入图片描述一对其余策略（ovr）
将每一次的一个类作为正例，其余作为反例，总共训练N个分类器。测试的时候若仅有一个分类器预测为正的类别则对应的类别标记作为最终分类结果，若有多个分类器预测为正类，则选择置信度最大的类别作为最终分类结果。
在这里插入图片描述

多标签问题与二分类问题关系

面临的问题： 图片的标签数目不是固定的，有的有一个标签，有的有两个标签，但标签的种类总数是固定的，比如为5类。

解决该问题： 采用了标签补齐的方法，即缺失的标签全部使用0标记，这意味着，不再使用one-hot编码。例如：标签为：-1,1,1,-1,1 ;-1表示该类标签没有，1表示该类标签存在，则这张图片的标签编码为：

0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1

2.如何衡量损失？

计算出一张图片各个标签的损失，然后取平均值。

3.如何计算精度

计算出一张图片各个标签的精度，然后取平均值。

该处理方法的本质：把一个多标签问题，转化为了在每个标签上的二分类问题。

机器学习（三十七）：OvO 和 OvR
全栈川川
11-08 1396
OvO和OvR方法。主要介绍这两种方法将二分类算法转为多分类。
多类别分类算法：一对一（OvO）和一对剩余（OvR）
syntax_api860的博客
09-18 2370
一对剩余（One-vs-Rest，简称OvR）策略是另一种常用的多类别分类策略。与OvO策略不同，OvR策略将多类别分类问题转化为K个二分类子问题。OvO策略将多类别分类问题转化为多个二分类子问题，而OvR策略将多类别分类问题转化为K个二分类子问题。最后，我们使用训练好的分类器对测试集进行预测，并计算预测的准确率。一对一（One-vs-One，简称OvO）策略是将多类别分类问题转化为多个二分类子问题的方法。具体而言，对于K个类别，OvO策略会构建K(K-1)/2个分类器，每个分类器用于区分两个类别。
多分类学习：OvO、OvR、ECOC
skysys的研究小屋
01-04 2190
OvO OvR MvM ECOC ECOC 是 Error-Correcting Output Codes 的缩写。中提到 ECOC 可以用来将 Multiclass Learning 问题转化为 Binary Classification 问题，本文中我们将对这个方法进行介绍。 要了解 ECOC ，可以从 One-vs-Rest 的 Multiclass Learning 策略出发。回忆一下，对于一个 K 类的分类问题，One-vs-Rest 策略为每一个类 i 都训练一个 binary c
通俗理解OvO与OvR
alw_123的博客
08-08 1万+
现实中常遇到多分类学习任务。有些二分类算法可以直接推广到多分类，但在更多情形下，我们是基于一些策略，利用二分类算法来解决多分类问题。例如：OvO、OvR。 OvO 假设现在训练数据集的分布如下图所示（其中A，B，C代表训练数据的类别）： 如果想要使用逻辑回归算法来解决这种3分类问题，可以使用OvO。OvO(One Vs One)是使用二分类算法来解决多分类问题的一种策略。从字面意思可以看出它的核...
56-OvR 和 OvO
qq_41033011的博客
10-20 871
前言   在前面系统学习了逻辑回归这种机器学习算法，它是使用回归的方式来解决分类问题。之前提到过，逻辑回归只可以解决二分类的问题，不过我们可以稍加改造，使得逻辑回归算法同样可以解决多分类问题。   其实这种改造方式不是只针对逻辑回归这一种方式，而是一种通用的对近乎所有的二分类算法都可使用这种方式让它们能够作用在多分类问题上。那么这种改造方式通常有两种：OvR 和 OvO。 OvR（One vs Rest）   我们首先来看一下 OvROvROvR（One vs Rest），即 1 对剩余的所有，有些地方有
[Python从零到壹] 十四.机器学习之分类算法五万字总结全网首发（决策树、KNN、SVM、分类对比实验）
热门推荐
杨秀璋的专栏
07-09 2万+
分类（Classification）属于有监督学习（Supervised Learning）中的一类，它是数据挖掘、机器学习和数据科学中一个重要的研究领域。分类模型类似于人类学习的方式，通过对历史数据或训练集的学习得到一个目标函数，再用该目标函数预测新数据集的未知属性。本章主要讲述分类算法基础概念，并结合决策树、KNN、SVM分类算法案例分析各类数据集，从而让读者学会使用Python分类算法分析自己的数据集，研究自己领域的知识，从而创造价值。 19.1 分类 19.1.1 分类模型 与前面讲述的聚类模型类似
2024 AI 人工智能完整学习路线表
AI天才研究院
09-14 3683
本阶段讲解，人工智能的应用，人工智能的工作流程、基本概念，人工智能的任务和本质，KNN最近邻算法。本阶段讲解，python基础语法，Numpy科学计算模块，Pandas数据分析模块，Matplotlib和Seaborn数据可视化模块。本阶段讲解，微积分基础，线性代数基础，多元函数微分学，线性代数高级，概率论，最优化。本阶段讲解，多元线性回归，梯度下降法，归一化，正则化，Lasso回归，Ridge回归，多项式回归。
概率与决策：逻辑回归的概率解释与边界理解
[概率与决策：逻辑回归的概率解释与边界理解](https://www.nucleusbox.com/wp-content/uploads/2020/06/image-47-1024x420.png.webp) # 1. 逻辑回归的统计基础 逻辑回归是一种广泛应用于分类问题的统计模型，尤其在...
【K-近邻算法】：理解距离度量，掌握分类原理
[【K-近邻算法】：理解距离度量，掌握分类原理](https://media.geeksforgeeks.org/wp-content/uploads/20231207103856/KNN-Algorithm-(1).png) # 1. K-近邻算法概述 K-近邻（K-Nearest Neighbors，KNN）算法是一种...
决策树模型理解
qq_45019857的博客
08-03 864
决策树概念 根据数据特征划分的一棵树，每个分枝是由某个不同的特征划分得到的。 特点： 直接解决了多分类问题（不需要ovo或ovR)，也能解决回归问题 直观而且具有可解释性。 熵的引入 熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量。 1948年，香农Claude E. Shannon引入信息（熵），将其定义为离散随机事件的出现概率。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以说，信息熵可以被认为是系统有序化程度的一个度量。 信息熵
机器学习笔记（五）逻辑回归 、决策边界、OvR、OvO
qq_45723275的博客
03-29 2905
目录1、分类问题2、逻辑回归3、损失函数4、决策边界4、OvR与OvO 1、分类问题 机器学习中有三大问题，分别是回归、分类和聚类。线性回归属于回归任务，而逻辑回归和k近邻算法属于分类任务。逻辑回归算法主要应用于分类问题，比如垃圾邮件的分类（是垃圾邮件或不是垃圾邮件），或者肿瘤的判断（是恶性肿瘤或不是恶性肿瘤）。在二分类的问题中，我们经常用 1 表示正向的类别，用 0 表示负向的类别。 2、逻辑回归 logistic回归是广义线性回归，因此与线性回归有很多相同之处。它们的模型形式基本上相同，都具有y^=wx
[机器学习-原理与实践]逻辑回归(LogisticRegression)多分类(OvR, OvO, MvM）
Harry的博客
07-02 1万+
这里写目录标题前言One-VS-RestOne-Vs-One实践案例总结 前言 逻辑回归分类器（Logistic Regression Classifier）是机器学习领域著名的分类模型。其常用于解决二分类（Binary Classification）问题。 One-VS-Rest 假设我们要解决一个分类问题，该分类问题有三个类别，分别用△，□和×表示，每个实例（Entity）有两个属性（Attribute），如果把属性 1 作为 X 轴，属性 2 作为 Y 轴，训练集（Training Dataset）的
多分类学习（OvO、OVR、MVM 原理区别）
qq_34120015的博客
03-20 4933
  多分类问题解决思路，一般来说，用二分类学习器解决多分类问题，基本思想是先拆分后集成，也就是先将数据集进行拆分，然后多个数据集可训练多个模型，然后再对多个模型进行集成。这里所谓集成，指的是使用这多个模型对后续新进来数据的预测方法。   具体来看，依据该思路一般有三种实现策略，分别是“一对一”（One vs Ons，简称OvO）、“一对剩余”（One vs Rest，简称OvR）和“多对多”（Many vs Many，加成MvM）。接下来我们逐个讨论。 1.OvO策略 拆分策略   OvO的拆分策略比较
机器学习：逻辑回归（OvR 与 OvO）
ab1213456的博客
07-30 5135
一、基础理解 问题：逻辑回归算法是用回归的方式解决分类的问题，而且只可以解决二分类问题； 方案：可以通过改造，使得逻辑回归算法可以解决多分类问题； 改造方法： OvR（One vs Rest），一对剩余的意思，有时候也称它为 OvA（One vs All）；一般使用 OvR，更标准； OvO（One vs One），一对一的意思； 改造方法不是指针对逻辑...
knn分类算法（鸢尾花数据集实现
qq_43527861的博客
10-15 3498
knn分类算法（鸢尾花数据集实现）1、题目：使用鸢尾花数据集，实现knn算法2、算法设计3、源代码4、测试用例设计及调试过程截屏5、经验总结如何创建一个注脚 1、题目：使用鸢尾花数据集，实现knn算法 这是python机器学习基础教程中第一章1.7部分的 2、算法设计 3、源代码 4、测试用例设计及调试过程截屏 5、经验总结 如何创建一个注脚 一个具有注脚的文本。1 注脚的解释 ↩︎ ...
机器学习实战—分类问题学习笔记（二）
qq_43456605的博客
10-18 1430
前面都是介绍的二元分类器在两个类别中区分，而多分类别分类器（也称为多项分类器）可以区分两个以上的类别。拿前面的Mnist数据集来分析，要创建一个多分类器，我们可以采取的一个策略是，给每个数字创建一个上面的那个判断是否为5的分类器，然后对每个模型进行训练，获取每个模型对需要预测图片实例的决策分数，预测分数最高的那个类即为该类的所属类。这种一实例对多模型的策略（一对多策略）成为OVA策略。
多分类学习
qq_40710190的博客
04-15 3913
多分类问题 现实中常遇到多分类学习任务。有些二分类学习方法可直接推广到多分类。但在更多情形下，我们是基于一些基本策略，利用二分类学习器来解决多分类问题。所以多分类问题的根本方法依然是二分类问题。通常地，使用的是拆分法，也就是将一个多分类转换为多个二分类，然后将多个预测结果进行集成最后得出预测结果。 具体来说，有以下三种策略： 一、一对一 （OvO) 假如某个分类中有N个类别，我们将这N个类别进行两...
【机器学习】浅谈逻辑回归
ueke1的博客
03-31 1224
Logistic回归和Softmax回归都是在采用逻辑回归的思想来解决分类问题。逻辑回归是一种二分类模型，用于解决二分类问题。它通过将输入特征与权重相乘并加上偏置项，然后将结果通过一个Sigmoid函数（也称为Logistic函数）映射到0到1之间的概率值，用于预测样本属于某一类别的概率。Softmax函数是一种常用的多类别分类激活函数。它可以将一组实数转化为概率分布，使得每个类别的概率值都在0到1之间且总和为1。Softmax函数的计算公式是对输入向量中的每个元素进行指数运算，然后将结果进行归一化。
机器学习_14_多分类及多标签分类算法
即使是不成熟的尝试，也胜于从不执行的策略。
02-03 1792
单标签多分类问题其实是指待预测的label标签只有一个，但是label标签的取值可能有多种情况；直白来讲就是每个实例的可能类别有K种(t1,t2,...tk,k≥3)；常见算法：Softmax、KNN、决策树等；
from sklearn.metrics import classification_report, roc_auc_score, precision_score, recall_score, accuracy_score, f1_score 给出改代码中roc_auc_score以及accuracy_score的计算公式
最新发布
04-28
<think>好的，用户现在想了解sklearn中的roc_auc_score和accuracy_score的计算公式。先看一下用户的问题历史。之前用户问过关于precision、recall、F1-score和support的解释，现在转向其他评估指标，需要明确回答这两个指标的具体公式。 首先，用户提到了引用的内容，引用了站内的多个资料，包括sklearn文档和一些示例代码。需要结合这些引用内容，但用户也指出引用仅供参考，主要参考上一次的问题和回答。之前的回答详细解释了分类指标，结构清晰，使用了公式和示例，所以这次应该保持一致的风格。 接下来，确认roc_auc_score和accuracy_score的公式。对于accuracy_score，比较简单，就是正确预测数除以总样本数。公式应该是$(TP + TN) / (TP + TN + FP + FN)$，不过用户可能需要更简洁的版本，比如$\text{Accuracy} = \frac{\text{正确预测数}}{\text{总样本数}}$。同时要注意用户给的引用[2]中提到了metrics.accuracy_score的示例，正确率和预测标签的比较，所以可以引用那个例子。 然后是roc_auc_score，这里比较复杂。AUC是ROC曲线下的面积，而ROC曲线是通过不同阈值下的TPR和FPR绘制的。计算公式可能需要解释AUC的计算方法，比如梯形积分或者排序方法。根据引用[5]，roc_auc_score适用于二分类和多分类，且在处理类别不平衡时更可靠。对于二分类，AUC可以通过计算正类样本的预测概率比负类高的概率，公式可能是基于Wilcoxon-Mann-Whitney统计量，即$\text{AUC} = \frac{\sum_{i=1}^{n_+} \sum_{j=1}^{n_-} I(p_i > p_j)}{n_+ \times n_-}$，其中$I$是指示函数。需要确认这个公式是否正确，以及是否需要详细说明。 同时要注意用户引用的sklearn文档[^3]和[^5]提到了多分类情况下的参数设置，比如multi_class参数，但用户可能主要关注二分类的公式。不过需要指出在多分类中的处理方式，如"ovr"或"ovo"。 用户可能需要明确的公式解释和示例，就像之前回答中的precision和recall那样。此外，用户可能希望了解这两个指标的应用场景和区别，比如为什么AUC在处理不平衡数据时更可靠，而准确率可能不够好。引用[5]也提到这一点，所以需要结合这些信息。 需要检查是否有遗漏的细节，比如在accuracy_score中是否要考虑多分类的情况，但根据sklearn的实现，accuracy_score直接计算总正确率，无论类别数量。而roc_auc_score在二分类中的计算方式是否和上述公式一致，是否正确无误。 最后，生成相关问题时要围绕这两个指标，可能涉及如何选择评估指标，处理多分类，或实际应用中的注意事项。需要确保问题与用户之前的疑问相关，并帮助深入理解。 总结回答结构：先分别解释accuracy_score和roc_auc_score的公式，给出数学表达式，示例，再讨论它们的应用场景和注意事项，最后生成相关问题。确保使用正确的中文术语，公式用$$...$$格式，独立公式单独成段，行内公式用$...$。参考之前的回答结构，保持一致性。</think>### 1. **`accuracy_score`（准确率）的公式** **定义**：正确预测的样本数占总样本数的比例，是最直观的分类性能指标。 **公式**： $$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$ 其中： - $TP$（True Positive）：正确预测的正类样本数 - $TN$（True Negative）：正确预测的负类样本数 - $FP$（False Positive）：负类样本被错误预测为正类的数量 - $FN$（False Negative）：正类样本被错误预测为负类的数量 **示例**： ```python from sklearn.metrics import accuracy_score y_true = [0, 1, 0, 1] # 真实标签 y_pred = [0, 1, 1, 1] # 预测标签 acc = accuracy_score(y_true, y_pred) # 正确预测数为3（索引0、1、3），总样本数为4 → 3/4=0.75 ``` **适用场景**： - 类别均衡时效果直观 - 不适用于类别严重不平衡的情况（例如欺诈检测中正样本占比极低）[^2][^5]。 --- ### 2. **`roc_auc_score`（AUC）的公式** **定义**：ROC曲线下面积（Area Under the ROC Curve），反映模型对正负样本的区分能力。 #### **核心计算逻辑**： 1. **ROC曲线**：横轴为假正率（FPR），纵轴为真正率（TPR），通过调整分类阈值生成曲线。 $$ \text{TPR} = \frac{TP}{TP + FN}, \quad \text{FPR} = \frac{FP}{FP + TN} $$ 2. **AUC计算**： - **二分类**：基于样本预测概率的排序，计算正类样本预测值高于负类样本的比例。 $$ \text{AUC} = \frac{\sum_{i=1}^{n_+} \sum_{j=1}^{n_-} I(p_i > p_j)}{n_+ \times n_-} $$ 其中： - $p_i$：正类样本的预测概率 - $p_j$：负类样本的预测概率 - $I(\cdot)$：指示函数（若条件成立则为1，否则为0） - $n_+$和$n_-$分别为正负类样本数 - **多分类**：通过 `multi_class` 参数选择 `"ovr"`（One-vs-Rest）或 `"ovo"`（One-vs-One）策略扩展[^3][^5]。 **示例**： ```python from sklearn.metrics import roc_auc_score y_true = [1, 0, 1, 0] # 真实标签（二分类） y_scores = [0.9, 0.3, 0.8, 0.2] # 预测概率（正类的概率） auc = roc_auc_score(y_true, y_scores) # 根据排序计算AUC ``` **适用场景**： - 类别不平衡问题（如医学诊断、欺诈检测） - 需要评估模型整体排序能力而非固定阈值下的表现[^1][^5]。 --- ### 3. **关键区别与选择建议** | 指标 | 核心关注点 | 适用场景 | 局限性 | |-----------------|---------------------------|-------------------------|--------------------------| | `accuracy_score`| 整体预测准确性 | 类别均衡、简单分类任务 | 对类别不平衡敏感 | | `roc_auc_score` | 正负类区分能力 | 类别不平衡、概率排序能力 | 多分类实现复杂，依赖概率校准 | --- ### 相关问题 1. 在多分类任务中如何选择 `average` 参数（如 `macro`、`micro`）？ 2. 为什么 AUC 对类别不平衡问题更鲁棒？ 3. 如何解释 AUC=0.5 和 AUC=1 的极端情况？ 4. 如何通过代码手动实现 AUC 的计算？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值