比监督学习做的更好:半监督学习

什么是无监督学习?概念、使用场景及算法详解 无监督学习是机器学习领域内的一种学习方式。本文将给大家解释他的基本概念,告诉大家无监督学习可以用用到哪些具体场景中。 最后给大家举例说明2类无监督学习的思维:聚类、降维。以及具体的4种算法。 什么是无监督学习? 无监督学习是机器学习中的一种训练方式/学习方式: 下面通过跟监督学习的对比来理解无监督学习: 监督学习是一种目的明确的训练方式,你知道得到的是什么;而无监督学习则是没有明确目的的... 阅读详情

作者:Andre Ye

编译:ronghuaiyang

导读

为什么半监督学习是机器学习的未来。

监督学习是人工智能领域的第一种学习类型。从它的概念开始,无数的算法,从简单的逻辑回归到大规模的神经网络,都已经被研究用来提高精确度和预测能力。

然而,一个重大突破揭示了添加“无监督数据”可以提高模型泛化和性能。事实上,在非常多的场景中,带有标签的数据并不容易获得。半监督学习可以在标准的任务中实现SOTA的效果,只需要一小部分的有标记数据 —— 数百个训练样本。

在这个我们对半监督学习的探索中,我们会有:

  1. 半监督学习简介。什么是半监督学习,它与其他学习方法相比如何,半监督学习算法的框架/思维过程是什么?

  2. 算法:Semi-Supervised GANs。与传统GANs的比较,过程的解释,半监督GANs的性能。

  3. 用例和机器学习的未来。为什么半监督学习会有如此大的需求,哪里可以应用。

半监督学习介绍

半监督学习算法代表了监督和非监督算法的中间地带。虽然没有正式定义为机器学习的“第四个”元素(监督、无监督、强化),但它将前两个方面结合成一种自己的方法。

这些算法操作的数据有一些标签,但大部分是没有标签的。传统上,人们要么选择有监督学习的方式,只对带有标签的数据进行操作,这将极大地减小数据集的规模,要么,就会选择无监督学习的方式,丢弃标签保留数据集的其余部分,然后做比如聚类之类的工作。

这在现实世界中是很常见的。由于标注是很昂贵的,特别是大规模数据集,特别是企业用途的,可能只有几个标签。例如,考虑确定用户活动是否具有欺诈性。在100万用户中,该公司知道有1万用户是这样的,但其他9万用户可能是恶意的,也可能是良性的。半监督学习允许我们操作这些类型的数据集,而不必在选择监督学习或非监督学习时做出权衡。

一般来说,半监督学习算法在这个框架上运行:

  1. 半监督机器学习算法使用有限的标记样本数据集来训练自己,从而形成一个“部分训练”的模型。

  2. 部分训练的模型对未标记的数据进行标记。由于样本标记数据集有许多严重的限制(例如,在现实数据中的选择偏差),标记的结果被认为是“伪标签”数据。

  3. 结合标记和伪标签数据集,创建一个独特的算法,结合描述和预测方面的监督和非监督学习。

半监督学习利用分类过程来识别数据资产,利用聚类过程将其分成不同的部分。

算法:Semi-Supervised GAN

半监督的GAN,简称为SGAN,是[生成对抗网络](https://medium.com/analytics-vidhya/gans-for-one -an-直觉解释-革命概念-2f962c858b95)架构的一个变体,用于解决半监督学习问题。

在传统的GAN中,判别器被训练来预测由生成器模型生成的图像是真实的还是假的,允许它从图像中学习判别特征,即使没有标签。尽管大多数人通常在GANs中使用训练很好的生成器,可以生成和数据集中相似的图像,判别器还是可以通过以转移学习作为起点在相同的数据集上建立分类器,允许监督任务从无监督训练中受益。由于大部分的图像特征已经被学习,因此进行分类的训练时间和准确率会更好。

然而,在SGAN中,判别器同时接受两种模式的训练:无监督和监督。

  • 在无监督模式中,需要区分真实图像和生成的图像,就像在传统的GAN中一样。

  • 在监督模式中,需要将一幅图像分类为几个类,就像在标准的神经网络分类器中一样。

为了同时训练这两种模式,判别器必须输出1 + n个节点的值,其中1表示“真或假”节点,n是预测任务中的类数。

在半监督GAN中,对判别器模型进行更新,预测K+1个类,其中K为预测问题中的类数,并为一个新的“假”类添加额外的类标签。它涉及到同时训练无监督分类任务和有监督分类任务的判别器模型。整个数据集都可以通过SGAN进行传递 —— 当一个训练样本有标签时,判别器的权值将被调整,否则,分类任务将被忽略,判别器将调整权值以更好地区分真实的图像和生成的图像。

虽然允许SGAN进行无监督训练,允许模型从一个非常大的未标记数据集中学习非常有用的特征提取,但有监督学习允许模型利用提取的特征并将其用于分类任务。其结果是一个分类器可以在像MNIST这样的标准问题上取得令人难以置信的结果,即使是在非常非常少的标记样本(数十到数百个)上进行训练。

SGAN巧妙地结合了无监督和监督学习的方面,强强联合,以最小的标签量,产生难以置信的结果。

用例和机器学习的未来

在一个可用数据量呈指数级增长的时代,无监督数据根本不能停下来等待标注。无数真实世界的数据场景会像这样出现 —— 例如,YouTube视频或网站内容。从爬虫引擎和内容聚合系统到图像和语音识别,半监督学习被广泛应用。

半监督学习将监督学习和非监督学习的过拟合和“不拟合”倾向(分别)结合起来的能力,创建了一个模型,在给出最小数量的标记数据和大量的未标记数据的情况下,可以出色地执行分类任务。除了分类任务,半监督算法还有许多其他用途,如增强聚类和异常检测。尽管这一领域本身相对较新,但由于在当今的数字领域中发现了巨大的需求,算法一直在不断地被创造和完善。

半监督学习确实是机器学习的未来。

英文原文:https://towardsdatascience.com/supervised-learning-but-a-lot-better-semi-supervised-learning-a42dff534781

-结束-

【机器学习】机器学习重要方法—— 半监督学习:理论、算法与实践 半监督学习是一种介于监督学习和无监督学习之间的方法,通过同时利用有标签和无标签数据进行训练。在许多实际应用中,获取大量有标签数据的成本高昂,而无标签数据通常比较丰富。半监督学习方法能够在这样的环境中有效发挥作用。 阅读详情

相关推荐

MixMatch:半监督学习

MixMatch:半监督学习摘要介绍功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 摘要 半监督学习已被证明是利用未标...

u012420553的博客 4062

有监督 VS 无监督

对比一 : 有标签 vs 无标签 有监督机器学习又被称为“有老师的学习”,所谓的老师就是标签。有监督的过程为先通过已知的训练样本(如已知输入和对应的输出)来训练,从而得到一个最优模型,再将这个模型应用在新的数据上,映射为输出结果。再经过这样的过程后,模型就有了预知能力。 而无监督机器学习被称为“没有老师的学习”,无监督相比于有监督,没有训练的过程,而是直接拿数据进行建模分析,意味着这...

dili8870的博客 5533

半监督学习(主要伪标签方法)

目前许多研究的假设都是利用聚类假设而进行训练的,这些方法都基于一个概念,即如果给一个无标签样本增加扰动,那么扰动数据的预测和原数据的预测不会有明显的改变,在聚类假设下,具有不同真实标签的数据点应当在低密度区域分隔开,因此,某样本在扰动后的预测结果发生类别变化的可能性也该很小。因此,与其最小化在输入空间的零维数据点上的分类成本,正则化的模型使每个数据点周围的流形上的成本最小化,使决策边界远离未标记的数据点,并平滑数据所在的流形[193]。最后一步是,混合这两个batch的中的样本,形成一个新的batch。

Harry_Jack的博客 1万+

有监督学习、无监督学习、自监督学习的区别与联系

除有监督学习、无监督学习、自监督学习外,还有半监督学习、弱监督学习等概念。此处的基本概念仅基于个人理解,并不十分严谨,严谨概念见补充部分。

2301_78770217的博客 2195

AGI的关键技术:半监督学习

AGI的关键技术:半监督学习 作者:禅与计算机程序设计艺术 1. 背景介绍 人工智能领域近年来取得了令人瞩目的进展,尤其是在深度学习技术的推动下,AI在图像识别、自然语言处理等领域取得了突破性进展。然而,当前主流的深度学习模型都是基于大规模标注数据进行监督式训练,这种方法存在着诸

AI天才研究院 865

有监督学习和无监督学习区别?

有监督学习和无监督学习分别关注于预测和发现数据的不同方面。它们在解决不同类型的问题时具有不同的应用和优势,通常可以在不同的任务中相互补充和结合使用。

优快云 精品推荐 1443

有监督学习和无监督学习_比监督学习做的更好:半监督学习

近期大热的半监督学习!本文转载自:AI公园作者:Andre Ye | 编译:ronghuaiyang注:文末附CV学习交流群。导读为什么半监督学习是机器学习的未来。监督学习是人工智能领域的第一种学习类型。从它的概念开始,无数的算法,从简单的逻辑回归到大规模的神经网络,都已经被研究用来提高精确度和预测能力。然而,一个重大突破揭示了添加“无监督数据”可以提高模型泛化和性能。事实上,在非常多的场景中,带...

weixin_39908588的博客 1027

有监督学习、无监督学习、半监督学习有什么区别?分别有哪些代表算法?

有监督学习、无监督学习、半监督学习有什么区别?分别有哪些代表算法?

m0_51339444的博客 6087

半监督学习综述

Chapter 7 Semi-supervised Learning 翻译不易,未经允许请勿转载! Author: Mohamed Farouk Abdel Hady and Friedhelm Schwenker Translator: Howard Wonanut 摘要 传统的监督学习方法需要使用有标签数据建立模型。然而,在现实世界中给训练数据打标签可能需要昂贵的...

哆啦A瑶的博客 1万+

Quartus II 13.1 出现 ‘‘can‘t find design entity <Filename>‘‘ 问题的解决方法

Quartus II 13.1 出现 ''can't find design entity '' 问题的解决方法

qq_62076686的博客 1万+

手把手教你用RSoft BPM仿真一个1x2光分束器:从参数设置到结果分析全记录

本文详细介绍了使用RSoft BPM模块设计和仿真1×2光分束器的完整流程,包括参数设置、结构建模、仿真配置和结果分析。通过实战指南,帮助读者掌握光波导器件的仿真技术,实现50:50功率分配的设计目标,适用于光通信和集成光学领域的研究与应用。

weixin_30545945的博客 546

半监督学习

半监督学习笔记

dugudaibo的博客 2万+

BitLocker恢复密钥丢失?从原理到实战的完整解锁与系统重生指南

磁盘加密技术是数据安全的核心防线,它通过对存储设备上的数据进行编码,确保未经授权的用户无法访问。其原理主要基于加密算法(如AES)与密钥管理机制,在操作系统启动前或数据读写时进行实时加解密。这项技术的核心价值在于防止设备丢失或被盗后的数据泄露,尤其对于笔记本电脑和移动设备至关重要。典型的应用场景包括企业办公电脑、存有敏感信息的个人设备以及符合合规性要求的行业。当使用Windows系统自带的BitLocker加密功能时,若因硬件改动、系统更新等触发保护机制,用户可能会面临需要输入恢复密钥才能启动的困境。本文聚

weixin_34006965的博客 494

半监督学习深度学习算法

该文章主体摘自知乎糯米稻谷的文章,对一些细节添加了自己的理解 文章链接https半监督学习啥是半监督学习(Semi-supervised Learning)1.简单自训练(simple self-training)2.协同训练(co-training)3.半监督字典学习4.标签传播算法(Label Propagation Algorithm)5.半监督支持向量机半监督深度学习算法1.无标签数据预训练,有标签数据微调2.利用从网络得到的深度特征来做半监督算法3.让网络 work in semi-supervi

weixin_42535423的博客 1万+

单反相机物镜设计[DG-10]

REAR(要打在像面,操作数要找像面对应位置15):以透镜单位表示的真实光线径向坐标,波长由Wave定义,参见“Hx、Hy、Px和Py”。最小玻璃厚度最小不能小于semi-dia的1/10,要根据layout看有没有过厚过薄,反复调节。PROD:两个操作数的乘积(操作#1 X操作#2)。3x4就是57.3x0.41=23.5。拦光一般在第一面和最后一面操作,减少边缘无用光线。光阑面与镜面贴近,要调距离,同时设置光阑像差。后截距是指从镜头后表面到焦点的距离。CONS:弧度转为角度。镜头相互嵌入,有错误。

weixin_72050316的博客 600

1 四种防反接电路——multisim仿真

摘要:防反接电路可防止电源反接损坏器件,主要有四种方案:1)二极管串联(低成本,适用小电流);2)整流桥(无极性输入,但效率低);3)保险丝+稳压管(低损耗但需更换);4)MOS管方案(大电流、高效率,主流选择)。选型需考虑电流、压降和成本,MOS管因其低导通电阻(毫欧级)成为大电流应用的首选。口诀:"小电流二极管,大电流用MOS"可快速指导设计。

XU157303764的博客 1576

课程笔记——Semi-supervised半监督学习

1.半监督学习 1.1 定义 监督学习样本数据 例如:图片+标签 半监督学习样本数据 例如:R个图片+标签,U个图片,通常U >> R。分类:transductive learning、inductive learning 直推式学习(transductive learning):将无标签数据作为测试数据。该做法不算是欺骗(当应用label才算欺骗,该做法仅应用feature) 归纳...

mintminty的博客 5816

全网详细解决Client does not support authentication protocol requested by server;consider upgrading Mysql c

全网详细解决1251 - Client does not support authentication protocol requested by server; consider upgrading Mysql client。

念兮为美 5479

半监督学习简介与综述 —— For 2020

半监督学习提出的背景 数据是机器学习的基础。巧妇难为无米之炊,再牛x的机器学习算法,脱离了数据就是空中楼阁。 根据使用的数据样本是否具有标签,可大致将传统的机器学习方法分为监督学习方法和无监督学习方法。 其中,无监督学习方法使用的训练样本没有标签;监督学习方法使用的训练样本带有明确的标签。 监督学习:训练样本集不仅包含样本,还包含这些样本对应的标签,即样本和样本标签成对出现。监督学习的目标...

Yancy的博客 9077

【DRAM存储器二十六】DDR4介绍-DDR4 SDRAM的主要技术特性之CA Parity、CRC Write date

详述DDR4的CA奇偶检验和写数据CRC校验功能

highman110的博客 1300

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

上一篇: 数据可视化的 30 个小技巧
下一篇: LSTM模型结构的可视化
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值