【台大李宏毅ML课程】Lecture 12 Semi-Supervised Learning半监督学习笔记

最新推荐文章于 2024-01-23 17:19:44 发布
原创 最新推荐文章于 2024-01-23 17:19:44 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了半监督学习的概念，包括Semi-supervised Generative Model的EM算法，self-training策略，以及Entropy-based Regularization。此外，还探讨了Smoothness Assumption，通过Graph-based Approach实现数据的平滑处理，以达到更好的分类效果。

本节课主要讲了半监督学习Semi-supervised：样本中有一部分数据有标签（label data）但很少，另一部分数据无标签（unlabel data），很多~因为收集无标签的数据很容易，但是收集有标签数据没那么容易~

图片来源于李宏毅老师ppt，如有错误务必指正！！
博主总结的时候喜欢中英夹杂，别介意！

1.Semi-supervised Generative Model
基本思想（EM）：
（1）先用label data训练一个model
（2）再用unlabel data不断更新model
这里写图片描述
与一般的生成模型不同的是（比如NB可以一次性就得到closed form solution），这种方式需要不断iterate~这种方式也叫作self-training

self-training
基本思想：
（1）先用label data 训练一个model f
（2）用这个model f去test unlabel data，会得到pseu-label的数据（假装被分了类），再把这些数据加入label data集里面
（3）Repeat
这里写图片描述

Entropy-based Regularization

最低0.47元/天 解锁文章
[机器学习入门] 李宏毅机器学习笔记-13 （Semi-supervised Learning ;半监督学习）
Holeung blog
06-14 7954
[机器学习入门] 李宏毅机器学习笔记-13 （Semi-supervised Learning ;半监督学习） PDF VIDEOIntroductionWhy semi-supervised learning helps?Semi-supervised Learning for Generative ModelSupervised Generative Model VS Semi-super
12、【李宏毅机器学习（2017）】Semi-supervised Learning（半监督学习）
Jimmyzqb的博客
08-29 5513
在前面的博客中主要介绍的算法全部都是监督学习的算法，接下来的博客将开始介绍半监督学习算法。 目录 半监督学习介绍 半监督学习与监督学习 监督学习中的样本中的是已知的，所以监督学习算法可以在训练集数据中充分使用数据的信息 半监督学习的样本中只有R个样本的是已知，U个样本的未知，且通常U远大于R – Transductive learning ：将未知标签的数据作为测试集数据（...
李宏毅机器学习——半监督学习
qq_27436347的博客
04-22 325
定义 半监督学习：存在无标签数据，通常需要一些假设 生成式模型 EM算法 Step1: 计算无标签数据先验概率Pθ(C1∣xu) P_{\theta}\left(C_{1} | x^{u}\right) Pθ​(C1​∣xu)Step2：更新模型 Low density separation self-training Repeat: 用已有标签数据训练模型 用模型去得到无标签数据的pse...
李宏毅学习笔记16.半监督学习
老毛的博客
06-08 1124
深度学习的内容到上节就结束了，接下来还剩下监督和半监督学习，半监督学习只有一个课时。半监督学习基于某种假设，本节课先介绍了在Generative Model中的应用，然后讲了两种常见假设，最后挖一坑，留待监督学习再讲。
李宏毅《Machine Learning》笔记--半监督学习
weixin_39847930的博客
09-20 163
以后再补前面的 半监督学习 有没有用取决于假设是不是合理 没听懂
2020李宏毅学习笔记—— 10. Semi-supervised Learning（半监督学习）
weixin_44790306的博客
06-26 1663
文章目录摘要1. IntroductionWhy Semi-supervised Learning？why Semi-supervised Learning helps ？2. Semi-supervised Learning for Generative Model 摘要 1. Introduction 分类（classification）这种机器学习算法就是一种监督学习。对于分类，输入的训练数据有特征（feature），有标签（label）。也就是我们之前的输入x和输出y。每一个x样本都对应着一个y（
李宏毅机器学习15—Semi-supervised learning
weixin_57178683的博客
05-02 1405
Semi-supervised learning（半监督学习） 摘要：这节课主要学习了半监督学习，以及半监督学习的两种方法。 目录 一、什么是Semi-supervised learning 为什么要做Semi-supervised learning 二、Semi-supervised learning for generative model 首先看supervised learning for generative model 实际上Semi-supervised learning for
课程笔记——Semi-supervised半监督学习
mintminty的博客
06-21 5732
1.半监督学习 1.1 定义 监督学习样本数据 例如：图片+标签 半监督学习样本数据 例如：R个图片+标签，U个图片，通常U >> R。分类：transductive learning、inductive learning 直推式学习(transductive learning)：将无标签数据作为测试数据。该做法不算是欺骗（当应用label才算欺骗，该做法仅应用feature） 归纳...
[机器学习-李宏毅] 半监督学习笔记 (Semi-supervised Learning)
qq_27309515的博客
09-22 1299
Semi-supervised Learning   Semi-supervised Learning 是 半监督学习 的意思。他是指用于训练的数据有一部分是有标签的，一部分数据是无标签的，同时使用这两部分数据进行学习。你可能会有一些疑问，为什么要使用没有标签的数据？没有标签的数据怎么能用来训练？对于第一个问题，是因为现在的机器学习方法大多都是数据驱动的方法，数据的量很大程度上会决定我们训练出的模型的好坏，但是提升数据量又是件不容易的事情，但是需要注意的是获取大量数据其实不难，难的是获取大量有标签的数据。比
李宏毅机器学习笔记：半监督学习
chairon的博客
04-15 196
[PyTorch][chapter 11][李宏毅深度学习][Semi-supervised Learning]
最新发布
4AM_明朝百晓生
01-23 1246
半监督SVM通过考虑未标记数据的分布，调整决策边界以提高分类性能。这通常通过引入正则化项来实现，以平衡标记数据和未标记数据的影响.首先，我们使用少量的标记数据来构建一个初始的支持向量机分类器。然后，我们引入未标记数据。未标记数据不会直接影响初始分类器的决策边界，但它们会在训练过程中起到重要作用.现实生活中,存在大量未打标签的数据集，需要充分利用这种未打标签的数据集。如上图，中间2 可以通过右边的2经过一系列的变化得到（中间有联通的区域），3： 从未打标签的数据集中，选择一部分置信度高的添加到已打。
李宏毅机器学习课程笔记：半监督学习
weixin_42377236的博客
03-21 319
两种： 直推学习——将无标签数据作为测试数据 归纳学习——无标签数据不作为测试数据 为什么需要半监督学习： 收集数据很容易，但是收集有标签的数据很难 无标签数据的分布可能会提供一些信息，通常会伴随一些假设 监督学习的生成模型 生成模型的半监督学习 步骤： 1.计算每一个无标签数据的后验概率 2.更新模型 这个方法会收敛，但是初始值会影响收敛的结果 ...
台大李宏毅
weixin_41078740的博客
11-26 658
1：Regression-Case Study 为什么在Loss function中，只考虑对w的正则化，而不考虑对b的正则化？ 因为b是一条水平线，b对Loss function是否平滑几乎不产生影响。   1-Regression Demo Ada-Gradient时会详细讲解这个技巧：小的learning rate导致要很多次迭代才能达到最优解，大的learning rate有可能...
李宏毅机器学习笔记(十二)——半监督学习
Unique13的博客
08-13 1118
文章目录一.什么是半监督学习二.分类问题生成模型中的EM算法三.基于低密度分离的分类1.自我学习2.基于信息熵的正则化3.半监督SVM 一.什么是半监督学习   在现实中，所谓的数据是很多的，例如图片数据，随处拍都会有很多，然而所谓的有标签的数据，最开始都是要由人来定义的，因此有标签数据集其实也是比较珍贵的。而半监督学习总的来说，顾名思义，半监督意味着做训练的时候，既使用了有标签数据，又使用了没有标签的数据。要注意，如果我们这样做了，一般来说没有标签的数据都是远大于有标签的数据的，否则如果有标签数据更多的话
李宏毅《机器学习》笔记：12.半监督学习
羊老羊
10-22 736
【参考文章】 笔记：https://blog.youkuaiyun.com/oldmao_2001/article/details/91285039 生成模式：https://blog.youkuaiyun.com/wistonty11/article/details/120365719 EM算法：https://zhuanlan.zhihu.com/p/40991784 文章目录1. 关于半监督学习1.1 定义1.2 分类1.3 半监督学习原因2. 半监督生成式模型（Semi-Supervised Generative Mod
（2020李宏毅）机器学习-半监督学习
顾道长生的科研笔记
10-11 721
文章目录半监督学习监督生成模型和半监督生成模型监督生成模型半监督生成模型假设一：Low-density Separationself-training基于熵的正则化假设二：Smoothness Assumption聚类和标记基于图的方法Better Representation 半监督学习 假设有R笔train data，每一笔train data有xrx^rxr,y^r\hat{y}^ry^​r。假设xrx^rxr是一张image，y^\hat{y}y^​是class label。semi-su.
李宏毅机器学习2016 第十一讲 半监督学习
Come_for_IT 的博客
01-18 1204
视频链接：李宏毅机器学习(2016)(11)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源：Hung-yi Lee课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5我的第十讲笔记：李宏毅机器学习2016 第十讲 为什么是“深度”学习Semi-supervised Learning本章主要讲述了半监督学习的原理及实现方法。
李宏毅机器学习之Semi-supervised Learning
Trony的博客
06-26 818
一、监督学习与半监督学习 在supervised里面，你就是有一大推的training data，这些training data的组成是一个function的input跟output，假设你有R笔train data，每一笔train data有。假设是一张image，是class label。semi-supervised learning是在label上面，是有另外一组unlabel的data，这组data记做,这组data只有input，没有output(U笔data)。在做semi-superis
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值