李宏毅老师课程：Semi-supervised

最新推荐文章于 2023-05-30 18:14:42 发布
原创 最新推荐文章于 2023-05-30 18:14:42 发布 · 478 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨半监督学习在有限标注数据下的高效应用，介绍其在生成模型、SVM及平滑假设等方面的优势，以及如何利用未标注数据提升模型性能。

半监督学习

Introduction

在这里插入图片描述
对于猫狗分类问题，如果只有一部分data有label，还有其他很大一部分data是unlabeled，那么我们可以认为unlabeled data对我们网络的训练是无用的吗？
在这里插入图片描述
Q：Why semi-supervised learning helps ?
（为什么semi-supervised learning会有效？）
在这里插入图片描述
A：如图所示，图中灰色圆点表示unlabeled data，其他圆点表示labeled data。如果没有unlabeled data，此时可以用一条竖直的线将猫狗进行分类，boundary为竖直的那条线；但unlabeled data的分布也可以告诉我们一些信息，对我们的训练也是有帮助的，有了unlabeled data，此时的boundary为斜直线

Semi-supervised Learning for Generative Model

Supervised Generative Model

不考虑unlabeled data，只有labeled data
在这里插入图片描述

Semi-supervised Generative Model

如果把unlabeled data也考虑进来，此时的boundary 也发生了变化
在这里插入图片描述

Formulation

在这里插入图片描述
不同的maximum likelihood对比
在这里插入图片描述

Low-density Separation Assumption

假设这个世界是非黑即白的，在两个class的交界处data的密度(density)是很低的，它们之间会有一道明显的鸿沟，此时unlabeled data(下图绿色的点)就是帮助你在原本正确的基础上挑一条更好的boundary
在这里插入图片描述

Self Training

有labeled data和unlabeled data，重复以下过程：

  • 从labeled data中tarin了模型 f ∗ f^* f
最低0.47元/天 解锁文章
Semi-supervised（半监督）布料缺陷检测实战
qq_52053775的博客
02-21 2093
对于常规的缺陷检测，常常需要我们准备好数据，使用分割或者检测的方法选择模型，进行训练。但是有一个问题。数据集使用的是一个经典的缺陷检测数据集，只使用其正常数据。labels目录下的txt文件注明了正常的图片和异常的图片。
深度学习（十二）semi-supervised
qq_43533956的博客
05-16 558
课程链接 半监督学习的原理跟我们自己学习辨认物体是很接近的，小时候可能父母长辈会在某次见到猫狗时告诉你这个是猫，这个是狗。但是之后就不会每次都告诉了，而实际上猫狗的形态多种多样，我们之后每次看到不同形态的猫狗时，即使没有人告诉，也能自己完成分类。 用少部分的带标签的数据，和大部分无标签的数据进行训练，这就是半监督学习。 半监督生成模型 如果把有标签和无标签的数据画在同一张图上，再根据他们画出概率分布，显然概率分布会受无标签的数据的影响。 训练的时候，先用有标签的数据训练出一个先验概率分布，然后逐个加入无
【李宏毅机器学习笔记】11、 Semi-supervised
ACL_lihan的博客
02-21 1236
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
12、【李宏毅机器学习（2017）】Semi-supervised Learning（半监督学习）
Jimmyzqb的博客
08-29 5525
在前面的博客中主要介绍的算法全部都是监督学习的算法，接下来的博客将开始介绍半监督学习算法。 目录 半监督学习介绍 半监督学习与监督学习 监督学习中的样本中的是已知的，所以监督学习算法可以在训练集数据中充分使用数据的信息 半监督学习的样本中只有R个样本的是已知，U个样本的未知，且通常U远大于R – Transductive learning ：将未知标签的数据作为测试集数据（...
2021李宏毅机器学习笔记--10 Semi-supervised learning
guoxinxin0605的博客
06-13 615
2021李宏毅机器学习笔记--10 Semi-supervised learning摘要一 、生成模型上的半监督学习二 、Low-density Separation非黑即白2.1 自学习2.2 熵正则化2.3 半监督SVM三 、 Smoothness Assumption平滑假设四 、Better Representation总结 摘要 半监督学习主要是利用少量的标注样本和大量的未标注样本进行训练和分类，让学习器不依赖外界交互，能自动的利用未标记样本来提升学习性能，并且有助于降低标注代价。半监督学习往往
Semi-supervised learning
tzyf333的专栏
03-18 4241
<br />http://www.madongfly.cn/articles/active-learning.html<br />http://demonstrate.ycool.com/post.3122672.html<br />http://blogger.org.cn/blog/more.asp?name=DMman&id=27357<br /> <br /> <br />在机器学习(Machine learning)领域，监督学习(Supervised learning)、非监督学习(Un
semi-supervised learning
bluenight专栏
06-11 9304
半监督学习已经兴起七八年了吧，但在中国还是刚刚起步罢。 一、Introduction to semi-supervised learning    What is semi-supervised learning and transductive learning?  Why can we ever learn a classifier from unlabeled data?  Does unlabeled data always help?  Which semi-supervised learni
李宏毅机器学习15—Semi-supervised learning
weixin_57178683的博客
05-02 1424
Semi-supervised learning（半监督学习） 摘要：这节课主要学习了半监督学习，以及半监督学习的两种方法。 目录 一、什么是Semi-supervised learning 为什么要做Semi-supervised learning 二、Semi-supervised learning for generative model 首先看supervised learning for generative model 实际上Semi-supervised learning for
2020李宏毅学习笔记—— 10. Semi-supervised Learning（半监督学习）
weixin_44790306的博客
06-26 1685
文章目录摘要1. IntroductionWhy Semi-supervised Learning？why Semi-supervised Learning helps ？2. Semi-supervised Learning for Generative Model 摘要 1. Introduction 分类（classification）这种机器学习算法就是一种监督学习。对于分类，输入的训练数据有特征（feature），有标签（label）。也就是我们之前的输入x和输出y。每一个x样本都对应着一个y（
电商数仓项目
Bingmous的博客
09-20 536
3 电商数据仓库系统 内部表与外部表的区别： 删除内部表时，会把元数据和原始数据全部删除；删除外部表时，只删除元数据，原始数据保留 什么场景创建内部表？外部表 多人使用的表创建外部表 自己用的临时表创建内部表 ...
16.Semi-supervised
xjtuse123的博客
05-26 573
了解半监督学习之前需要首先知道监督学习（Supervised Learning）的概念，监督学习指训练样本都是带标签的。然而在现实中，数据收集是容易的，但是收集到带标签的数据却是非常昂贵的。 半监督学习指的是既包含部分带标签的数据也有不带标签的数据，通过这些数据来进行学习。 直推学习（Transductive Learning）：不带...
Semi-Supervised Learning
extremecold
12-08 1931
简介 半监督学习算法 Self-Training Models Mixture Models and EM 有监督分类的混合模型 半监督分类的混合模型 EM算法求解 THE ASSUMPTIONS OF MIXTURE MODELS CLUSTER-THEN-LABEL METHODS Co-Training协同训练 THE ASSUMPTIONS OF CO-TRAINING Graph
李宏毅机器学习2016 第十一讲 半监督学习
Come_for_IT 的博客
01-18 1215
视频链接：李宏毅机器学习(2016)(11)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源：Hung-yi Lee课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5我的第十讲笔记：李宏毅机器学习2016 第十讲 为什么是“深度”学习Semi-supervised Learning本章主要讲述了半监督学习的原理及实现方法。
Semi-supervised Learning(半监督学习)
长路漫漫亦灿灿
05-30 1779
半监督学习，
（二）Semi-supervised（半监督学习）李宏毅
qq_44108731的博客
11-04 2641
介绍 半监督学习数据：{(xr,y^r)}r=1R,{xu}u=RR+U\{(x^r,\hat{y}^r)\}^R_{r=1},\{ x^u\}^{R+U}_{u=R}{(xr,y^​r)}r=1R​,{xu}u=RR+U​。unlabled的数据集U远大于R。 因此，用于测试集的数据的特征也可以用来进行半监督学习，只不过不能使用它的标签，称之为Transductive learning; 如果没有标注的数据不是测试集特征，称之为Inductive learning。 参考：李宏毅2016机器学习Semi-
半监督学习semi-supervised
ygp12345的博客
10-19 1197
文章目录半监督学习介绍Semi-supervised Learning for Generative ModelSupervised Generative ModelSemi-supervised Generative ModelLow-density SeparationSelf-trainingEntropy-based RegularizationOutlook: Semi-supervised SVMSmoothness AssumptionCluster and then LabelGraph-b
李宏毅机器学习笔记08（Semi-Supervised）
aomangyu0290的博客
08-17 632
半监督学习 1、什么是Semi-Supervised 2、Semi-Surpervised在生成模型中如何实现的（EM算法） 3、Semi-Surpervised基于Low-density Separation（低密度分离）假设是如何实现的 　　1）Self-training方法+Entropy-based Regularization 　　2）SVM 4、Semi-Surp...
AutoML论文笔记（三）Semi-Supervised Neural Architecture Search：基于半监督学习的神经网络架构搜索
luzheai6913的博客
04-26 1086
文章题目：Semi-Supervised Neural Architecture Search 链接：link https://arxiv.org/abs/2002.10389 会议期刊：CVPR 2020 论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。 论文内容 亮点和收获 ...
课程笔记——Semi-supervised半监督学习
mintminty的博客
06-21 5741
1.半监督学习 1.1 定义 监督学习样本数据 例如：图片+标签 半监督学习样本数据 例如：R个图片+标签，U个图片，通常U >> R。分类：transductive learning、inductive learning 直推式学习(transductive learning)：将无标签数据作为测试数据。该做法不算是欺骗（当应用label才算欺骗，该做法仅应用feature） 归纳...
李宏毅课程：2-Classification深度学习分类
资源摘要信息: "李宏毅课程说明ppt及作业代码" 知识点一：李宏毅 李宏毅是一位知名的机器学习专家，可能在课程中提供了机器学习，尤其是分类（classification）的深入讲解。李宏毅的课程可能涵盖了机器学习基础、...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值