李宏毅 DeepLearning-2017-Semi-supervised Learning

最新推荐文章于 2024-08-16 18:14:45 发布
最新推荐文章于 2024-08-16 18:14:45 发布
阅读量292 收藏 1
点赞数
分类专栏： DeepLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zjguilai/article/details/90108167
版权

对我们来说，我们从来不缺都是data，但是缺的是有label的data,所以需要semi-supervised Learning
这里unlabel data是只告诉我们function Model的输入，但是不告诉输出，而且unlabeled data远大于labels data
在这里插入图片描述
unlabeled data伴随着一些分布的假设，semi-supervised Learning 是否有用决定于你的假设是否有用（精确和符合实际）

在这里插入图片描述
方法：

在这里插入图片描述
传统的监督学习的分布
在这里插入图片描述
计算新的MODEL
在这里插入图片描述
原本只有label data的时候，每一笔的data的likelihood都是可以算出来的，
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
衡量分布是否集中的方法：Entropy of yu,越小越好，越小越集中，拉姆达表示是偏向unlabeled data多一点还是小一点
在这里插入图片描述
SVM穷举unlabeled data 的可能得label,得到margin最大，world loss最小
在这里插入图片描述
第二种方法：
在这里插入图片描述
x的分布是不集中的，有些集中有些分散，X1->X2比较简单到达，中间有high density region，很有可能X1,X2有相同的label
在这里插入图片描述
在这里插入图片描述
第三种方法：一同聚类，然后lable 他
在这里插入图片描述
在这里插入图片描述
如何建设graph
相似度计算函数f(x,x’)
在这里插入图片描述
在这里插入图片描述
相连的线上point的S然后相加，来判断谁更SMOOTH
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

解读RealMix:Towards Realistic Semi-Supervised Deep Learning Algorithms
so
12-21 1383
来源：https://arxiv.org/pdf/1912.08766.pdf 官方代码：https://github.com/uizard-technologies/realmix 主要贡献： 1.在cifar10数据集上仅仅只利用每类250个标签数据实现了sota(error rate:9.79%) 2.在标签数据和无标签数据完全 mismatch的情况下，依然能够surpass b...
论文笔记-深度估计(4) Semi-Supervised Deep Learning for Monocular Depth Map Prediction
一只飞鱼的博客
12-30 4053
CVPR2017_Semi-Supervised Deep Learning for Monocular Depth Map Prediction 这是一篇用双目进行无监督学习估计深度的论文。 对一幅图进行有监督训练进行深度估计时，由于采集设备的局限，并非图像的每个像素都有对应的真实值。于是作者提出在图像有真实值的地方进行监督学习，无真实值的地方进行无监督学习（最终作者发现对整个图像都进行无监...
Semi-Supervised Deep Learning for Monocular Depth Map Prediction
wh22141334的博客
07-01 267
研究背景 监督学习通常需要大量的标记数据作为监督信号，标记数据通常由雷达或者深度相机获取，通过以上两种方式得到的数据稀疏且有噪声，相机之间的标定也不是很准确。 无监督学习，基于立体图像匹配的深度图重建本来就是一个不定的问题。 创新点 提出了结合了监督学习和无监督学习的半监督学习方法。 由上图可以看出本文的基本思路是：通过卷积网络得到两张图片之间的深度倒数ρ(x)\rho(x)ρ(x)。 监督方法就是将ρ(x)\rho(x)ρ(x)和通过雷达得到的真值Z(x)联合训练。 无监督方法就是通过立体相机baseli
[半监督学习] Tri-net for Semi-Supervised Deep Learning
不定期更新 Web 开发及机器学习相关博客
02-18 1759
Tri-net 将 tri-training 与深度学习模型相结合. 首先学习三个初始模型, 然后使用每个模型来预测一个未标记数据池, 其中两个模型为另一个模型标记一些未标记实例. Tri-net 中涉及三个关键技术: 模型初始化、多样性增强和伪标签编辑.
Introduction to Deep Learning - Supervised Learning with Neural Networks
王彩旗的技术博客
05-18 126
It turns out that so far almost all the economic value created by neural networks has been through supervised learning. Let's see what that means and we'll go through some examples in this class. In supervised learning, you have some input x, and you w.
Semi-supervised Deep Learning for Fully Convolutional Networks文章解读
静静地玛尼石
10-27 1922
目前对FCN分割还没有半监督的方法，本文提出auxiliary manifold embedding的概念在随机特征内嵌的辅助下用于FCN的半监督学习，并且用已提出的方法对现有的MS lesion分割任务进行实验验证。 1 引言        在本文中，我们提出了auxiliary manifold embedding的概念到FCN中，这种新颖的策略叫做"随机特征嵌入"。随
【李宏毅机器学习笔记】11、 Semi-supervised
ACL_lihan的博客
02-21 1158
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
李宏毅机器学习15—Semi-supervised learning
weixin_57178683的博客
05-02 1298
Semi-supervised learning（半监督学习） 摘要：这节课主要学习了半监督学习，以及半监督学习的两种方法。 目录 一、什么是Semi-supervised learning 为什么要做Semi-supervised learning 二、Semi-supervised learning for generative model 首先看supervised learning for generative model 实际上Semi-supervised learning for
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2454
李宏毅机器学习--self-supervised--BERT和GPT
2021李宏毅机器学习笔记--10 Semi-supervised learning
guoxinxin0605的博客
06-13 505
2021李宏毅机器学习笔记--10 Semi-supervised learning摘要一 、生成模型上的半监督学习二 、Low-density Separation非黑即白2.1 自学习2.2 熵正则化2.3 半监督SVM三 、 Smoothness Assumption平滑假设四 、Better Representation总结 摘要 半监督学习主要是利用少量的标注样本和大量的未标注样本进行训练和分类，让学习器不依赖外界交互，能自动的利用未标记样本来提升学习性能，并且有助于降低标注代价。半监督学习往往
Self-Supervised Learning（李宏毅老师系列）
最新发布
Moliay的博客
08-16 720
自监督学习模型与芝麻街~参数量ELMO：94MBERT：340MT5：11BGPT-3：175B“自监督学习”数据本身没有标签，所以属于无监督学习；但是训练过程中实际上“有标签”，标签是“自己生成的”。想办法把训练数据分为“两部分”，一部分作为作为“输入数据、另一部分作为“标注”。
1.1.3 【Deep Learning翻译系列】Supervised Learning with Neural Network 使用神经网络的监督学习
hyczkg的博客
05-27 409
1、神经网络的应用有很多关于神经网络的炒作(hype)。也许有些炒作是合理的，因为他们工作得多好。但事实证明，迄今为止，几乎所有由神经网络产生的经济价值都是通过一种机器学习，称为监督式学习。我们来看一些例子。在监督式学习中，您有一些输入x，并且您想要学习映射到某个输出y的函数。例如，刚才我们看到了房屋价格预测应用程序，您可以在其中输入房屋的某些功能并尝试输出或估计价格y。以下是其他一些神经网络已被...
《Realistic Evaluation of Deep Semi-Supervised Learning Algorithms》笔记
qwq_xcyyy的博客
08-10 759
对深度半监督学习算法的现实评价AbstractIntroductionImproved EvaluationSemi-Supervised Learning Methods半监督Π-ModelMean TeacherVirtual Adversarial Training(VAT)Entropy Minimization (EntMin)Pseudo-LabelingConclusions and RecommendationsExperiments Abstract 写作目的：为了帮助指导SSL研究更贴合
[论文翻译] Learning with Limited Annotations: A Survey on Deep Semi-Supervised Learning for Medical
xiongxyowo的博客
11-25 1966
医学图像分割是许多图像引导的临床方法中的基本和关键步骤。最近基于深度学习的分割方法的成功通常依赖于大量的标记数据，特别是在医学成像领域，只有专家才能提供可靠和准确的注释，这一点特别困难和昂贵。 半监督学习已经成为一种有吸引力的策略，并被广泛地应用于医学图像分割任务中，在有限的注释下训练深度模型。在本文中，我们全面回顾了最近提出的用于医学图像分割的半监督学习方法，并总结了技术上的创新和经验上的结果。此外，我们还分析和讨论了现有方法的局限性和几个未解决的问题。我们希望这篇综述能够激励研究界探索解决这一挑战的方法
深度半监督学习
metrao的博客
03-09 2877
半监督学习介绍 Zhu X, Goldberg A B. Introduction to semi-supervised learning[J]. Synthesis lectures on artificial intelligence and machine learning, 2009, 3(1): 1-130. 链接半监督 无监督学习：主要目的是从独立同分布采样中得到的n个独立样本中找到intresting的结构 监督学习：从给定的一组训练集（x，y）中学习从x到y的映射,训练集也属于独立同分布，学
【统计学习基础】2. Overview of Supervised Learning
厄多斯L的博客
06-07 300
supervised learning to used inputs to predict the values of the outputs. inputs predictors; independent variable; features; outputs responses
半监督学习(Semi-Supervised Learning, SSL)-简述及论文整理
不定期更新 Web 开发及机器学习相关博客
12-29 8764
SSL
[l论文学习]DEEP SEMI-SUPERVISED PERSON RE-IDENTIFICATION WITH EXTERNAL MEMORY
weixin_43169773的博客
01-02 560
为了克服监督再识别的可扩展性问题，我们考虑了半监督再识别问题，即从有限数量的少量标识图像和大量未标识图像中学习。为此，我们提出了一个基于外部性记忆的深度半监督reid模型(EDS)。为了有效地处理标记数据和未标记数据之间的关系，克服深度学习中每个epoch中批量大小的限制，设计了基于外存储器的两个loss函数。因此，可以实现一种有效的深度半监督学习方法。大量的实验验证了该方法在半监督人识别中的优越...
Semi-supervised Learning(半监督学习)
长路漫漫亦灿灿
05-30 1630
半监督学习，
台大李宏毅2017机器学习课程笔记概览
3. 半监督学习（Semi-supervised Learning）是介于有监督和无监督之间的一种学习方式。半监督学习利用少量的标注数据和大量的未标注数据共同训练模型，可以有效地提高学习效率和准确性。常见的半监督学习算法有标签...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值