1、Binary Relevance Learning multi-label scene classication

本系列是基于我看过的论文总结的,如果对多标签学习不是很了解的话,可以看下张敏灵教授和周志华教授合写的关于多标记学习的A Review on Multi-Label Learning Algorithms,这篇论文很清楚地介绍了多标记相关的研究。

论文相关内容

本文中解决多标记问题的方法:

考虑基类是可能重叠的而且可以是互斥的。让X为被分类的样本空间,Y为标记集。现在设B是一组二进制向量,每个向量的长度都是|Y |。每个向量b∈B表示Y中的基类的成员关系(+1 = member; -1 =non-member). H是用于X->B的一组分类器.我们的目标是找到分类器h∈H来最小化一个距离(例如,hamming distance在信息论中,两个等长字符串之间的汉明距离(英语:Hamming distance)是两个字符串对应位置的不同字符的个数。),这个距离是h(x) and bx之间的对于一个新观察到的样本x。

用多标签数据训练的四种模型

在本节中,我们将描述使用多标签数据进行训练和测试的可能方法。考虑两个类,分别用’ + ‘和’ x ‘表示。同时属于“+”类和“x”类的样例表示为‘’。
1、在我们的样例中,“
”数据的一部分将被标记为’ + ‘, 一部分将被标记为’ x '(例如,取决于哪个类最占主导地位)。我们称这种模型为model -s(s代表“单标签”类)。
2、另一种可能的方法就是在训练分类器时简单地忽略多标签数据。在我们的样例中,所有的“”数据都将被丢弃。我们将这种方法训练的模型称为模型-i(i代表忽视)。
3、 要实现对每个类中的数据进行正确分类的目标,一种简单的方法是将具有多个标签的项视为一个新类(“
”类),并为其构建一个模型。我们将这种方法训练的模型称为模型-n (n代表“新”类)。
4、在我们的样例中,在训练“+”模型时,我们认为“”数据属于“+”类,而在训练“x”模型时,我们认为它属于“x”类。我们强调‘’数据不是‘+’类或‘x’类的负例。我们称之为“交叉训练”。我们将使用这种方法获得的模型称为模型-x(x代表“交叉训练”)。

标记测试集上的三种准则

1、P-Criterion:标记输入测试数据通过所有的对应正的SVM分数的类(在“P-Criterion”,P代表正)。如果没有得分为正,则将该数据示例标记为“未知”
2、 T-Criterion: 这与p准则类似,但在如何处理全负评分情况时有所区别。在这里,我们使用封闭世界假设(CWA),即所有的例子都至少属于N类中的一个。如果所有的N个支持向量机分数为负,输入对应于产生最高分(最小负值)的支持向量机的标签。(T表示最大。)
3、C-Criterion: 不管支持向量机的分数是正还是负,最终的结果取决于与最高支持向量机分数的接近程度。(C表示接近。) 在一个样例的所有SVM分数中,如果第M个足够接近,那么相应的类被认为是这个样例的标签。我们使用最大后验(MAP)原则来确定阈值来判断支持向量机分数是否足够接近。(注意这独立于以上给出的 SVM 分数的概率解释。)

两种新颖的综合评价方法

1、阿尔法-Evaluation
Suppose Yx is the set of ground truth labels for test data x, and Px is the set of prediction labels from classifier h.Furthermore, let Mx=Yx−Px (missed labels) and Fx=Px−Yx(false positive labels). In -evaluation, each prediction is scored by the following formula:
在这里插入图片描述
设置贝塔=伽马=1得到更简单的公式:
在这里插入图片描述
我们把阿尔法叫作原谅率因为它反射出在多大程度上可以原谅预测标签的错误。阿尔法取值小更激进(倾向于原谅错误),和取值大是保守的(更严厉惩罚错误)。基于此的3个性能度量标准
在这里插入图片描述
在这里插入图片描述

2、基类评估
在这里插入图片描述
基于此的3个性能度量标准。
在这里插入图片描述

总结

1、相关背景:在文本分类、场景分类等分类问题中对多标记分类的需求
2、问题:经典的模式识别方法不能很好地应用于多标记分类
3、现有的解决方法:大部分是基于特定领域的而且效果也不是很理想
4、作者的核心思想、创新点:作者提出的被后来学者叫作BR算法的基本思想是将多标记学习问题转化为 q 个独立的二类分类问题,其中每个二类分类问题对应于标记空间 中的一个类别标记,作者还提出了新的训练模型:交叉训练;新的标记准则:P、T、C准则;两个度量模型的方法:基于阿尔法评估(多)和基类(单)的。
5、通过什么样的实验进行验证:在3大模型、4大标记准则(后来又提出了2个简单的)、2大评估方法下通过SVMFU软件使用SVM进行图片的场景分类的对比实验。
6、对我的启发:横看成岭侧成峰 远近高低各不同。遇到问题时如果从一个角度不能解决的话,应当尝试不同的角度去看待问题。

### 多视图多标签学习的概念与方法 多视图多标签学习(Multi-View Multi-Label Learning, MVML)是一种结合了多视图学习和多标签学习的方法。它旨在利用来自不同视角的数据特征来提高分类性能,尤其是在处理复杂数据集时更为有效。 #### 1. 基本定义 多视图多标签学习的核心在于如何有效地融合多个视图的信息以提升预测精度。每个视图可以看作是从不同的角度描述同一个样本[^1]。例如,在图像识别任务中,颜色直方图可能是一个视图,而纹理特征可能是另一个视图。通过整合这些视图中的互补信息,模型能够更全面地理解输入数据。 #### 2. 方法类别 根据具体实现方式的不同,MVML 可分为以下几类: - **基于集成的学习 (Ensemble-based Methods)** 此类方法通常会针对每一个单独的视图构建独立的基础分类器,并最终采用某种策略组合它们的结果。这种方法的优点是可以充分利用各个视图的独特特性。 - **联合表示学习 (Joint Representation Learning)** 联合表示学习试图找到一种统一的方式将所有视图映射到同一低维空间内进行后续操作。典型代表有CCA(Canonical Correlation Analysis)及其变体。 - **深度神经网络框架下的解决方案** 随着深度学习技术的发展,越来越多的研究者开始探索使用深层架构解决MVML问题。比如引入注意力机制(Multi-head attention mechanism),使得模型能够在训练过程中动态调整各视图的重要性权重[^2]。 #### 3. 数据预处理技巧 对于实际应用而言,除了设计合理的算法外还需要注意一些重要的前期准备工作: - 应用适当的数据增强(Data Augmentation Techniques)可以帮助缓解过拟合现象并增加泛化能力; - 当面对不平衡标签分布的情况时,则需采取相应的平衡措施如重采样或者代价敏感型损失函数等手段加以应对。 ```python import numpy as np from sklearn.multiclass import OneVsRestClassifier from sklearn.svm import SVC # Example of Binary Relevance approach using SVMs. X_train = [[0], [1], [2], [3]] y_train = [ [0, 1], [1, 1], [1, 0], [0, 0] ] classifier = OneVsRestClassifier(SVC(kernel='linear')) classifier.fit(X_train, y_train) print(classifier.predict([[0.8]])) ``` 上述代码片段展示了二元相关法(Binary Relevance)的一个简单实例,其中`OneVsRestClassifier`配合支持向量机完成多标签分类任务。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值