Multi-label learning 第一周

最新推荐文章于 2023-11-08 21:22:40 发布

原创

最新推荐文章于 2023-11-08 21:22:40 发布 · 4.2k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #多标签学习 #标签 #MML

本文介绍了多标签学习的概念，对比了传统机器学习与多标签学习的区别，并列举了多标签学习的常见算法及评估指标，如MLSVM、RankSVM等。

Multi-Label Learning 第一周

Multi-Label Learning 第一周

Multi-Label Learning的含义

从今天开始Multi-Label Learning的学习，我会把学习的一点点心得记录下来，如果有不对的地方，请您指正。

Multi-Label Learning，顾名思义，指的就是多标签学习。其中，learning，当然指的是机器学习，而这里要研究的重点，就集中在Multi-label上。

传统机器学习

在传统的监督学习中，我们的研究对象集合中的一个个体一般通过一个实例(instance)，也就是一个特征向量来表达。然后这个实例会与一个标签(label)联系起来，这个标签用来表达这个研究对象的特征(比如它的类别信息)。如下图：
这里写图片描述

用公式化的说法，就是令 $X$ 为实例(instance)空间， $Y$ 为标签(label)空间，我们的目标就是从数据集 { (x1,y1),(x2,y2),

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Kodoo

关注关注

4
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

多标签学习：LIFT: Multi-Label Learning with Label-Specific Features

Life in Technicolor

07-05

6262

多标签学习：LIFT: Multi-Label Learning with Label-Specific Features @(Machine Learning) Intro LIFT是张敏灵教授提出的多标签(multi-label)的学习方法。关于multi-label的介绍可以看我这篇博客，其中主要描述了multi-class、multi-label、multi-task的定义和区别...

Deep Region and Multi-label Learning for Facial Action Unit Detection简要论文笔记

yinghua2016的博客

08-16

2809

Deep Region and Multi-label Learning for Facial Action Unit Detection 摘要：本文对以前的网络进行了改进，用一个统一的深度网络，同时解决Deep Region and Multi-label Learning(DRML) 这两个问题。 DRML中的一个重要方面是一个新的区域层（a region layer ），它使

参与评论您还未登录，请先登录后发表或查看评论

Multi-label learning for BP

Randolph_Lee的博客

04-06

621

# -*- coding: utf-8 -*- """ Created on 2017/4/5 9:52 2017 @author: Randolph.Lee """ from __future__ import division from pybrain.structure import * from Evaluation_metrics import * from Threshold_fun

Multi-Label Learning 笔记一A Review on Multi-Label Learning Algorithms

qq_36822881的博客

04-02

8823

1、定义定义为d维的实体空间，为q个可能标签的标签空间。multi-label learning就是从multi-label training set中学习函数。对于每个multi-label example 是一个d维的特征向量，就是与相关的一组标签。对于没有出现过的实体，多标签分类器为x预测出一组合适的标签。2、主要挑战 1、随着标签的增加，输出空间成指数性增长（20...

multi-task learning, multi-label learning, multi-class learning

NeXT_Vision的博客

01-08

923

文章目录1.单任务学习vs多任务学习2.什么是多任务学习3.多任务学习有效的原因4.相关（relate）定义5.多任务学习中的相关关系（task relationship）6.Multi-task Learning方法7.多任务学习与其他学习算法之间的关系8.多任务学习应用概述9.参考文献参考博客待阅读 1.单任务学习vs多任务学习单任务学习：一次只学习一个任务（task），大部分的机器学习任务都属于单任务学习。多任务学习：把多个相关（related）的任务放在一起学习，同时学习多个任务。

MIML（一）：Fast Multi-Instance Multi-label learning

fxqwgdddg123的博客

03-17

2287

阅读记录（一）：Fast Multi-Instance Multi-label learning阅 MIMLfast阅读记录（一）：Fast Multi-Instance Multi-label learning阅一、存在的问题二、解决方法三、MIMLfast算法概述四、算法详解五、实验六、可能的思路来源七、感悟一、存在的问题大多数MIML算法只能解决中等规模的问题，无法解决大规模的问题或者在解决大规模问题的时候需要大量的计算时间。二、解决方法提出了MIMLfast算法三、MIMLfast算法概

Tailor Versatile Multi-modal Learning for Multi-label Emotion Recognition

qq_42873279的博客

11-08

484

多模态多标签情感识别（MMER）旨在从异构的视觉、音频和文本模态中识别各种人类情感。以前的方法主要侧重于将多种模态投影到一个共同的潜在空间中并学习所有标签的相同表示，这忽略了每种模态的多样性并且无法从不同角度捕获每个标签更丰富的语义信息。此外，模态和标签的关联关系尚未得到充分利用。在本文中，我们提出了用于多标签情感识别的通用多模态学习（TAILOR），旨在细化多模态表示并增强每个标签的判别能力。具体来说，我们设计了一个对抗性多模态细化模块，以充分探索不同模态之间的共性并加强每种模态的多样性。

Partial Multi-Label Learning via CredibleLabel Elicitation

的博客

01-16

901

基于可信标签启发的部分多标签学习摘要部分多标签学习（PML）研究的是每个训练样本都与一组过完备的候选标签相关联的问题，其中只有一些候选标签是有效的。PML的任务自然出现在监督不准确的学习场景中，其目标是诱导一个多标签预测器，该预测器可以为不可见的实例分配一组适当的标签。PML训练过程容易被隐藏在候选标签集中的假阳性标签所误导，这是部分多标签学习的主要建模难点。本文提出了一种新的两阶段PML方法，该方法从模型归纳的候选标签集中引出可信标签。在第一阶段中，通过迭代标签传播估计每个PML训练示例的候选标签的标

Fast multi-instance multi-label learning (2022/04/08)

qq_49293687的博客

04-08

214

目录简介算法流程实例预测模型子标签挖掘包预测模型损失函数损失函数优化简介这又是一篇周老师团队的多示例多标签论文，发表在2018年的顶刊TPAMI上。其主要思想是将多标签问题通过数据输入形式和损失函数的设计转化为了标签排序问题，并且降低了算法的时间复杂度，使得算法在大型数据集上也能应用。算法流程用{(X1,Y1),(X2,Y2),…,(Xn,Yn)}\{(X_1, Y_1), (X_2, Y_2), \dots, (X_n, Y_n)\}{(X1,Y1),(X2,Y2),…,(Xn,Yn)

论文笔记：多标签学习综述（A review on multi-label learning algorithms）

Just for fun的专栏

04-10

2108

2014 TKDE(IEEE Transactions on Knowledge and Data Engineering)张敏灵，周志华简单介绍传统监督学习主要是单标签学习，而现实生活中目标样本往往比较复杂，具有多个语义，含有多个标签。本综述主要介绍了多标签学习的一些相关内容，包括相关定义，评价指标，8个多标签学习算法，相关的其它任务。论文大纲相关定义：学习任务，三种策略评价指...

Multi-Label Ensemble Learning

02-29

Multi-label learning aims at predicting potentially multiple labels for a given instance. Conventional multi-label learning approaches focus on exploiting the label correlations to improve the accuracy of the learner by building an individual multi-label learner or a combined learner based upon a group of single-label learners. However, the gener- alization ability of such individual learner can be weak. It is well known that ensemble learning can effectively improve the generalization abil- ity of learning systems by constructing multiple base learners and the performance of an ensemble is related to the both accuracy and diver- sity of base learners. In this paper, we study the problem of multi-label ensemble learning. Specifically, we aim at improving the generalization ability of multi-label learning systems by constructing a group of multi- label base learners which are both accurate and diverse. We propose a novel solution, called EnML, to effectively augment the accuracy as well as the diversity of multi-label base learners. In detail, we design two objective functions to evaluate the accuracy and diversity of multi- label base learners, respectively, and EnML simultaneously optimizes these two objectives with an evolutionary multi-objective optimization method. Experiments on real-world multi-label learning tasks validate the effectiveness of our approach against other well-established methods.

多标签学习方法Multi-Label Learning by Exploiting Label Correlations Locally

我的博客

10-17

1893

文章目录Multi-Label Learning by Exploiting Label Correlations Locally2012 AAAISheng-Jun Huang Zhi-Hua Zhou摘要ML-LOC 方法框架算法流程 Multi-Label Learning by Exploiting Label Correlations Locally 2012 AAAI Sheng-Ju...

A Review on Multi-Label Learning Algorithms - KNN

Zhaohui1995_Yang的专栏

08-29

1329

在多标签分类中，有一种方法就是按照KNN的类似算法去求出每一个维度的结果。也是看周志华老师的review突然就想实现以下，然后实现了一个相当简单的。首先我们需要进行计算的是在近邻数目为k的情况下的贝叶斯分布的可能。也就是，首先对于每一个样本求其近邻，然后按照近邻在这一维度上的分类进行朴素贝叶斯的统计，遇到一个新样本，首先按照最近邻来计算近邻的集合，然后在每一个维度上根据其朴素贝叶斯的统计来进行计算。

多标签分类，论文：A Review on Multi-Label Learning Algorithms

jingtingxu369的博客

11-12

1442

Problem transform， Binary relevance method(BR): BR transforms a multi-label problem into multiple binary problems; one problem for each label.Pairwaise classification approach(PW): a binary model

【笔记】A Review on Multi-Label Learning Algorithms

MLer

04-16

2506

本文可分为五个部分，INTRODUCTION中包括对Multi-label问题的非正式定义，应用范围介绍，近年国际会议和期刊中该领域论文录用和发表的情况，最后介绍了本文的结构。THE PARADIGM中包括对对Multi-Label learning问题的正式定义和常用的评价指标。LEARNING ALGORITHMS中介绍了用于Multi-Label Learning问题的主要算法，并且常用算法分

多标签学习与深度森林学习笔记

goodljq的博客

05-21

1359

周志华老师团队Multi-Label Learning with Deep Forest (MLDF)报道很多，各大机器学习平台也都就这篇文章的亮点给出了分析。近日在准备组会报告时较为详细地拜读了一下，也由此简单了解了一下多标签学习的相关内容。正如论文作者所述，MLDF的最大优势在于：限制模型复杂性以防止过拟合可以根据用户需求进行优化实验表明，在多个标准数据集（benchmark dataset）上，深度森林在六种多标签学习的评价方法中取得了最佳表现，同时也具有在多标签问题中研

多标签学习算法回顾总结-A Review on Multi-Label Learning Algorithms

keepclamcarryonemma的博客

01-21

556

1、Section2多标签学习的基本概念，包括形式定义(学习框架、关键挑战、阈值校准)和评价指标(基于实例、基于标签、理论结果)。主要挑战是输出空间的大小，随着类标签数量的增加，标签集的数量呈指数增长。利用标签之间的相关性 2、Section3对8种具有代表性的多标签学习算法进行了分析和讨论 3、Section4几种相关的学习情境 ...

Multi-Label Learning with Emerging New Labels

qq_42722278的博客

09-06

522

多标签学习（multi-label learning）扫盲，混淆矩阵

Hello Word!

07-21

4354

1，MLL 没有单独的直观的二维混淆矩阵，sklearn的实现是多少label就有多少混淆矩阵，每个label一个2x2的混淆矩阵。（每个label的值是0/1） from sklearn.metrics import multilabel_confusion_matrix import numpy as np classes = ['green', 'black', 'red', 'blue'] targetSrc = [[0,1,1,1], [0,0,1,0], [1,0,0,1], [1,1,1,0

Class Prototypes based Contrastive Learning for Classifying Multi-Label and Fine-Grained Educational Videos

最新发布

03-21

### 基于类原型对比学习在多标签和细粒度教育视频分类中的应用 #### 类原型对比学习的核心概念类原型对比学习是一种通过构建类别级别的代表性向量（即类原型），并利用这些原型之间的关系来进行特征学习的方法。这种方法能够有效捕捉类间差异以及类内一致性，从而提升模型的泛化能力[^1]。具体而言，在多标签场景下，每个类别的原型可以通过该类别下的所有样本嵌入向量计算得到。通常采用均值池化的方式生成类原型 $ C_k $，其中 $ k $ 表示第 $ k $ 个类别： \[ C_k = \frac{1}{N_k} \sum_{i=1}^{N_k} f(x_i), \] 这里 $ N_k $ 是属于类别 $ k $ 的样本数量，$ f(x_i) $ 则是输入样本 $ x_i $ 经过编码器提取后的特征向量[^2]。 #### 对比损失函数的设计为了实现更有效的特征表示学习，对比学习框架引入了一种特殊的损失函数——InfoNCE Loss (Information Noise Contrastive Estimation)。这种损失函数旨在最大化正样本对之间的相似性，同时最小化负样本对之间的相似性。对于给定查询样本 $ q $，其对应的正样本集合记作 $ P(q) $，而负样本集合则为 $ N(q) $，那么 InfoNCE Loss 可定义如下： \[ L_{contrastive}(q) = -\log \left( \frac{\exp(\text{sim}(q, p)/\tau)}{\sum_{n \in N(q)} \exp(\text{sim}(q,n)/\tau)+\sum_{p' \in P(q)} \exp(\text{sim}(q,p')/\tau)} \right). \] 这里的 $ \text{sim}() $ 函数通常是余弦相似度或者欧氏距离，参数 $ \tau $ 称为温度超参，控制分布的锐利程度。 #### 多标签与细粒度教育视频分类的应用挑战当应用于多标签和细粒度教育视频分类时，主要面临以下几个方面的挑战： - **标签不平衡**：某些细粒度类别可能拥有远少于其他类别的标注数据，这会使得训练过程中难以形成可靠的类原型。 - **语义重叠**：不同类别之间可能存在较高的语义关联性，增加了区分难度。 - **时间依赖特性**：相比于静态图片，动态视频还包含了帧间的时间序列信息，这对建模提出了更高要求。针对上述问题，可以考虑以下改进措施： 1. 引入自适应权重机制调整各类别的重要性； 2. 设计专门的模块捕获跨帧间的长期依赖关系，比如使用 LSTM 或 Transformer 结构； 3. 融合外部知识源辅助优化决策边界。 #### 实验验证与效果分析实验表明，在多个公开基准数据集上，基于类原型对比学习的方法显著优于传统监督方法以及其他无监督预训练方案。特别是在低资源环境下，由于充分利用了有限样例内部的信息结构，性能优势更加明显。 ```python import torch.nn.functional as F def info_nce_loss(query_embeddings, positive_embeddings, negative_embeddings, temperature=0.5): """ Compute the contrastive loss using InfoNCE formulation. Args: query_embeddings (Tensor): Query embeddings of shape [batch_size, embedding_dim]. positive_embeddings (Tensor): Positive sample embeddings of same shape. negative_embeddings (Tensor): Negative samples with shape [num_negatives * batch_size, embedding_dim]. temperature (float): Temperature parameter controlling sharpness. Returns: Tensor: Scalar value representing computed loss. """ # Normalize all vectors to unit length queries_norm = F.normalize(query_embeddings, dim=-1) positives_norm = F.normalize(positive_embeddings, dim=-1) negatives_norm = F.normalize(negative_embeddings, dim=-1) logits_pos = torch.sum(queries_norm * positives_norm, dim=-1).unsqueeze(-1) / temperature logits_neg = torch.matmul(queries_norm.unsqueeze(1), negatives_norm.T.permute(0, 2, 1)) / temperature full_logits = torch.cat([logits_pos, logits_neg], dim=-1) labels = torch.zeros(full_logits.shape[:2]).to(logits_pos.device).long() return F.cross_entropy(full_logits.view(-1, full_logits.size(-1)), labels.view(-1)) ```