Semi-supervised Learning

最新推荐文章于 2024-03-29 08:30:00 发布
原创 最新推荐文章于 2024-03-29 08:30:00 发布 · 805 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍半监督学习中的两种方法：self-training与active learning。当标注数据稀缺时，这两种方法能够有效利用未标注数据提高模型准确性。self-training通过迭代地将模型最自信的预测结果加入到标注集中来增强模型；而active learning则选择模型最不确定的数据进行人工标注。

简单聊一下Semi-supervised Learning(SSL)分类时, 两个可用的方法: self-training与active learning.
当我们有标注的样本很少时, 训练的模型会不够准确. 这时我们可以尝试利用一下无标注的样本.

Self-training

  1. 用Labeled set训练模型.
  2. 用模型预测Unlabeled set.
    将预测结果中置信度最大的一个instance从Unlabeled set移动到Labeled set. 其label当然就是预测的这个结果.
  3. Goto 1 直到所有instance都移动到Labeled set中.

Active learning

  1. 用Labeled set训练模型.
  2. 用模型预测Unlabeled set.
    从预测结果中, 选取最不确信的一个(批), 拿来人工标注. 并移动到Labeled set中.
  3. Goto 1 直到所有instance都移动到Labeled set中.

其中第2步, 如何选择一批合适的instance来标注呢? 选最不确信(决策边界附近)的instance是一个方法. 同时也有很多其他方法, 比如训练多个模型, 选多个模型分歧最大的instance; 选取能使模型变化最大(或loss下降最多)的instance等. 详细总结可见Wikipedia.

参考资料:
Wikipedia: Active learning

travischan
关注
半监督学习(Semi-Supervised Learning)
AI天才研究院
07-12 510
半监督学习(Semi-Supervised Learning) Semi-Supervised Learning. 半监督学习(Semi-Supervised Learning)是指同时从有标签数据和无标
[机器学习-李宏毅] 半监督学习笔记 (Semi-supervised Learning)
qq_27309515的博客
09-22 1308
Semi-supervised Learning   Semi-supervised Learning 是 半监督学习 的意思。他是指用于训练的数据有一部分是有标签的，一部分数据是无标签的，同时使用这两部分数据进行学习。你可能会有一些疑问，为什么要使用没有标签的数据？没有标签的数据怎么能用来训练？对于第一个问题，是因为现在的机器学习方法大多都是数据驱动的方法，数据的量很大程度上会决定我们训练出的模型的好坏，但是提升数据量又是件不容易的事情，但是需要注意的是获取大量数据其实不难，难的是获取大量有标签的数据。比
机器学习 -- Semi-supervised Learning
01-30
Semi-supervised Learning Introduction Why semi-supervised learning helps? Semi-supervised Learning for Generative Model Low-density Separation Assumption Smoothness Assumption Better Representation
Semi-Supervised Learning
12-16
Semi-Supervised Learning
Semi-supervised Learning(半监督学习)
长路漫漫亦灿灿
05-30 1769
半监督学习，
Semi-supervised learning
tzyf333的专栏
03-18 4235
<br />http://www.madongfly.cn/articles/active-learning.html<br />http://demonstrate.ycool.com/post.3122672.html<br />http://blogger.org.cn/blog/more.asp?name=DMman&id=27357<br /> <br /> <br />在机器学习(Machine learning)领域，监督学习(Supervised learning)、非监督学习(Un
Unsupervised, Semi-Supervised, Supervised Learning
E.G的专栏
03-11 2110
Semi-Supervised:In computer science, semi-supervised learning is a class of machine learning techniques that make use of both labeled and unlabeled data for training - typically a small amount of la
Label Efficient Semi-Supervised Learning via Graph Filtering.pdf
08-09
Graph-based methods have been demonstrated as one of the most effective approaches for semi-supervised learning,astheycanexploittheconnectivitypatternsbetweenlabeled and unlabeled data samples to ...
Graph-Based Semi-Supervised Learning
01-09
In order to adapt to this phenomenon, several semi-supervised learning (SSL) algorithms, which learn from labeled as well as unlabeled data, have been developed. In a separate line of work, ...
精选资源
nips14-ssl:NIPS 2014 论文“Semi-Supervised Learning with Deep Generative Models”结果复现代码
06-28
NIPS'14-SSL 使用深度生成模型重现我们的 NIPS 2014 论文关于半监督学习 (SSL) 的一些关键结果的代码。 DP Kingma、DJ Rezende、S. Mohamed、M. Welling 具有深度生成模型的半监督学习神经信息处理系统的进展 27 ...
Introduction to Semi-Supervised Learning
07-09
Semi-supervised learning is a learning paradigm concerned with the study of how computers and natural systems such as humans learn in the presence of both labeled and unlabeled data.Traditionally, ...
Semi-Supervised Learning with Ladder Network
03-01
首先，标题中的“Semi-Supervised Learning with Ladder Network”揭示了本篇论文的核心内容。半监督学习是一种机器学习范式，它同时利用标注数据（监督学习）和未标注数据（无监督学习）来训练模型。这种方法特别...
半监督学习综述(a survey of semi-supervised learning)
11-28
一篇数据挖掘课的作业论文。 关于半监督学习方面的综述性文章。 所参考文献在2009年以前。 目前这方面的中文文献相对较少，希望我的这篇作业能对有兴趣做这方面研究的朋友有所帮助，其中错误之处还请大家多多指出。
excel熵值法计算权重_计算机视觉中的半监督学习
weixin_40005542的博客
11-21 386
作者：Amit Chaudhary编译：ronghuaiyang原文链接：计算机视觉中的半监督学习​mp.weixin.qq.com导读图解半监督的各种方法的关键思想。计算机视觉的半监督学习方法在过去几年得到了快速发展。目前最先进的方法是在结构和损失函数方面对之前的工作进行了简化，以及引入了通过混合不同方案的混合方法。在这篇文章中，我会通过图解的方式解释最近的半监督学习方法的关键思想。1、自训练在...
半监督学习（semi-supervised learning）
n不正
04-15 5707
半监督学习（semi-supervised learning）1 introduction why semi-supervised learning? 收集数据很贵，收集有标签的数据更贵！ superviesd：D={(xi,yi)}Ni=1D = \{ (x_i,y_i)\}_{i = 1}^N semi-supervised：D={(xi,yi)}Mi=1∪{xu}Nj=M+1D
半监督学习
kyle1314608的博客
02-13 1088
半监督学习 </h1> <div class="clear"></div> <div class="postBody"> 一、半监督学习 1-1、什么是半监督学习 让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习（sem...
半监督学习（SEMI-Supervised Learning）
qq_42769683的博客
11-08 7646
简单易懂什么是半监督学习，为什么使用半监督学习
半监督学习：semi-supervised learning 直推学习：transductive learning 主动学习：active learning
jieming2002的博客
09-28 853
目前，利用未标记示例的主流学习技术主要有三大类：半监督学习（semi-supervised learning）、直推学习（transductive learning）和主动学习（active learning）。 https://blog.youkuaiyun.com/assiduousknight/article/details/18146451 主动学习、纯半监督学习、直推学习的联系与区别 https://www.cnblogs.com/yanmk/p/8118864.html ...
机器学习的分类——半监督学习（Semi-supervised Learning）
guojunwu1977的博客
03-29 1526
半监督学习是一种强大的机器学习方法，特别适用于标记数据稀缺但未标记数据丰富的情况。通过合理利用未标记数据，半监督学习可以显著提高模型的学习效果。然而，要充分发挥其潜力，需要仔细考虑数据的分布、模型的选择以及学习过程中的各种假设。
Using Semi-Supervised Learning for Predicting Metamorphic Relations
最新发布
09-22
半监督学习结合了少量有标签数据和大量无标签数据来进行模型训练，在预测变形关系方面可按以下方式进行： #### 数据准备 收集与变形关系相关的数据，将其分为有标签数据和无标签数据。有标签数据包含明确的变形关系信息，例如在材料科学中，有标签数据可能是已知材料在特定条件下的变形结果和对应条件；无标签数据则是缺乏明确变形关系标注的数据。 #### 选择半监督学习算法 - **自训练（Self - training）**：首先使用有标签数据训练一个初始模型，然后用该模型对无标签数据进行预测，将置信度高的预测结果作为伪标签添加到有标签数据集中，重新训练模型，不断迭代这个过程。例如在Python中可以使用Scikit - learn库结合自定义代码实现： ```python import numpy as np from sklearn.linear_model import LogisticRegression # 有标签数据 X_labeled = np.array([[1, 2], [2, 3], [3, 4]]) y_labeled = np.array([0, 1, 0]) # 无标签数据 X_unlabeled = np.array([[4, 5], [5, 6]]) # 初始模型训练 model = LogisticRegression() model.fit(X_labeled, y_labeled) # 自训练迭代 for _ in range(3): # 对无标签数据预测 probabilities = model.predict_proba(X_unlabeled) high_confidence_indices = np.max(probabilities, axis = 1) > 0.9 pseudo_labels = model.predict(X_unlabeled[high_confidence_indices]) # 添加伪标签到有标签数据 X_labeled = np.vstack((X_labeled, X_unlabeled[high_confidence_indices])) y_labeled = np.hstack((y_labeled, pseudo_labels)) # 重新训练模型 model.fit(X_labeled, y_labeled) ``` - **标签传播（Label Propagation）**：该算法基于图的思想，将数据点视为图中的节点，节点之间的边表示数据点之间的相似度。标签从有标签节点传播到无标签节点。在Scikit - learn中可以直接使用`LabelPropagation`类： ```python from sklearn.semi_supervised import LabelPropagation import numpy as np # 有标签数据 X_labeled = np.array([[1, 2], [2, 3], [3, 4]]) y_labeled = np.array([0, 1, 0]) # 无标签数据 X_unlabeled = np.array([[4, 5], [5, 6]]) y_unlabeled = np.full(len(X_unlabeled), -1) # 合并数据 X = np.vstack((X_labeled, X_unlabeled)) y = np.hstack((y_labeled, y_unlabeled)) # 标签传播模型训练 label_propagation = LabelPropagation() label_propagation.fit(X, y) # 预测变形关系 predictions = label_propagation.predict(X_unlabeled) ``` #### 模型评估与优化 使用交叉验证等方法对训练好的模型进行评估，根据评估结果调整模型的参数，如自训练中的置信度阈值、标签传播中的相似度度量方法等，以提高模型预测变形关系的准确性。 #### 预测变形关系 使用优化后的模型对新的数据进行预测，得到变形关系的预测结果。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值