Semi-supervised Learning with Deep Generative Models论文笔记

最新推荐文章于 2024-10-23 08:12:49 发布
最新推荐文章于 2024-10-23 08:12:49 发布
阅读量3.6k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度生成模型笔记 vae论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lrt366/article/details/84305757
这篇论文笔记探讨了在现代大规模数据集和有限标签信息环境下，半监督学习的重要性。通过开发新的深动生成模型，结合变分方法和近似贝叶斯推理，解决了传统生成方法的灵活性、效率和可扩展性问题。这些改进使生成模型在半监督学习任务中展现出竞争力，提升分类性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Abstract

现代数据集的规模不断扩大, 加上获取标签信息的难度, 使得半监督学习成为现代数据分析中具有重要现实意义的问题之一。我们重新审视使用生成模型进行半监督学习的方法, 并开发新的模型, 以便有效地将小标签数据集推广到大型无标签数据集。迄今为止, 生成办法要么是不灵活的, 要么是效率低下的, 要么是不可扩展的。我们表明, 深入生成模型和近似贝叶斯推理利用最近的进展, 变分方法可以用来提供显著的改进, 使生成方法具有高度竞争力的半监督学习、

2 Deep Generative Models for Semi-supervised Learning

我们面临的数据显示为对 (x, y) = {(x1, y1),..... (x1, y1)}, 与 i-th 观察 rd 和相应的类标记 {1, l}。观测将有相应的潜在变量, 我们用 zi 来表示。只要很明显我们指的是与单个数据点关联的术语, 我们就会省略索引 i。在半监督分类中, 只有一部分观测值具有相应的类标签;我们指的是在标记和未标记的子集上的经验分布, 分别为 pel (x, y) 和 peu (x)。我们现在开发半监督学习模型, 利用数据的生成性描述来提高仅使用标记数据获得的分类性能

关于式子7怎么来的：

有关红框的说明：

 

最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习 李宏毅 L28L29-Deep Generative Model
okgagaga的博客
02-02 1257
生成模型1： Pixel RNN 产生图像时，每次产生一个像素点。也就是，训练一个网络，输入为一个三维的vector，输出为另外一个三维的vector。可以使用Pixel RNN进行图像生成、语音生成等。 如果需要练习，可以提供该课程提供的792个Pokemon突袭那个，图像为20*20大小,数据库地址。实验结果如下图： 生成模型2： VAE (Variational Aut
《Semi-Supervised Learning with Generative Adversarial Networks》 论文阅读
I good vegetable a!
05-27 700
论文地址 https://arxiv.org/pdf/1606.01583.pdf 摘要 \quad无论是在GAN还是DCGAN中，我们鉴别器Discriminator输出的都是一个概率变量(float)，代表输入到鉴别器的图片是真的还是假的，SGAN通过使判别器网络输出类别标签将GAN扩展为半监督的。在一个N个类别的数据集上训练生成模型G和判别模型D。训练时，D预测输入数据属于N个类别中的哪一类...
nips14-ssl:NIPS 2014 论文“Semi-Supervised Learning with Deep Generative Models”结果复现代码
06-28
NIPS'14-SSL 使用深度生成模型重现我们的 NIPS 2014 论文关于半监督学习 (SSL) 的一些关键结果的代码。 DP Kingma、DJ Rezende、S. Mohamed、M. Welling 具有深度生成模型的半监督学习神经信息处理系统的进展 27 ( NIPS 2014 )，蒙特利尔 使用此代码进行研究时，请引用本文。 警告：此代码远未完全注释。 对于问题和错误报告，请发送电子邮件至dpkingma[at]gmail.com 。 先决条件 确保安装了以下最新版本： Python（2.7 或更高版本） Numpy（例如pip install numpy ） Theano（例如pip install Theano ） 在 Theano 配置的[global]部分（通常是~/.theanorc ）中设置floatX = float32 。 或者，您可以在
论文笔记之：Semi-Supervised Learning with Generative Adversarial Networks
a1424262219的博客
08-25 680
Semi-Supervised Learning with Generative Adversarial Networks 　　 　　引言：本文将产生式对抗网络（GAN）拓展到半监督学习，通过强制判别器来输出类别标签。我们在一个数据集上训练一个产生式模型 G 以及 一个判别器 D，输入是N类当中的一个。在训练的时候，D被用于预测输入是属于 N+1的哪一个，这个+1是对应了G的...
Russ Salakhutdinov - Learning Deep Generative Models.pdf
05-25
Russ Salakhutdinov - Learning Deep Generative Models.pdf
Unsupervised Learning - Deep Generative Model (Part I)
Fly嘉
01-16 321
这个图片先说了这一个博客，是一个科普文，这个可以很好的介绍Generative Models。 我们目前做的是让机器识别出哪些是猫还是狗，但是机器可能不知道这个猫是什么。所以未来我们想让计算机画出东西来，例如画出一只猫 Genreative Models有三个方法 例如上面的pixels，一个三维vector代表一个pixel，然后用一个pixel来预测下一个pixel，然后用这个两个pi...
【李宏毅机器学习笔记】11、 Semi-supervised
ACL_lihan的博客
02-21 1176
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
课程笔记——Semi-supervised半监督学习
mintminty的博客
06-21 5709
1.半监督学习 1.1 定义 监督学习样本数据 例如：图片+标签 半监督学习样本数据 例如：R个图片+标签，U个图片，通常U >> R。分类：transductive learning、inductive learning 直推式学习(transductive learning)：将无标签数据作为测试数据。该做法不算是欺骗（当应用label才算欺骗，该做法仅应用feature） 归纳...
李宏毅学习笔记26.Unsupervised Learning.05: Deep Generative Model (Part I)
老毛的博客
01-18 829
文章目录Generative ModelsPixelRNNVariational Auto Encoder(VAE)Writing Poetry Generative Models 就是致力于让机器自主学习的一些方法， 比较有名的有下面几种： PixelRNN Variational Autoencoder(VAE) Generative Adversarial Network(GAN) 下面大...
2020李宏毅学习笔记——45.Unsupervised learning Deep Generative Model(Part I)
weixin_44554337的博客
07-09 337
Deep Generative Model-part 1：深度生成模型-part 1 1.Generative Models 就是致力于让机器自主学习的一些方法，比较有名的有下面几种： PixelRNN Variational Autoencoder(VAE) Generative Adversarial Network(GAN) 什么意思呢？ 现在的机器学习是能够区分猫狗的不同了，但是，机器还是不能准确地画一只猫出来，所以我们现在就generate 一个模型出来。 2.Pixel RNN Pixel R
[机器学习入门] 李宏毅机器学习笔记-18 （Deep Generative Model-part 1：深度生成模型-part 1）
Holeung blog
06-22 5951
[机器学习入门] 李宏毅机器学习笔记-18 （Deep Generative Model-part 1：深度生成模型-part 1） PDF VIDEOCreation 据说在费曼死后，人们在他生前的黑板上拍到如图画片，在左上角有道：What i cannot create ,I do not understand. Generative models,就是在做创造的事情。 Imag
2020李宏毅学习笔记——45.Unsupervised learning Deep Generative Model(Part II)
weixin_44554337的博客
07-10 445
这节我觉得主要是讲VAE的好处： 1.从原理上来讲 1.1 先看一下VAE经典框架： 1.2 解释这几个参数 可以看到每个encoder分了两个东西σ和m，每个东西三个值，所以相当于对code加上了噪声，相当于code有一定的范围，因此可以在这个范围内生成对应的图片。 1.3 why VAE？ 注意看中间部分，两个图片的code加上噪声之后中间有重叠部分，也就是说这个地方既要可以生成满月，又要生成半月图片，根据输入和输出之间的误差最小的目标，这个位置的图片只能是介于满月和半月之间了。 所以在VAE的模型
Semi-Supervised Learning with Generative Adversarial Networks 论文笔记
u013841458的博客
11-07 1789
Abstract 我们通过强制鉴别器网络输出类标签，将生成对抗网络（GAN）扩展到半监督上下文。 我们在数据集上训练生成模型G和鉴别器D，其中输入属于N类之一。 在训练时，D用于预测输入所属的N + 1个类中的哪一个，其中添加额外的类以对应于G的输出。我们表明该方法可用于创建更具数据效率的分类器。 并且它允许生成比常规GAN更高质量的样本。  1. Introduction     ...
Semi-Supervised Learning with Generative Adversarial Networks
u013841458的博客
03-22 729
如果你曾经听过或研究过深度学习，你可能听说过MNIST，SVHN，ImageNet，PascalVoc等。 每个数据集都有一个共同点。 它们由数百和数千个标记数据组成。 换句话说，这些集合由（x，y）对组成，其中（x）是原始数据，例如图像矩阵，（y）是数据点（x）代表什么的描述。 以MNIST数据集为例。 60,000个数据点中的每一个都是（输入，标签）对。 输入是2...
李宏毅学习笔记27.Unsupervised Learning.05: Deep Generative Model (Part II)
老毛的博客
01-30 781
文章目录
Semi-supervised learning
tzyf333的专栏
03-18 4188
<br />http://www.madongfly.cn/articles/active-learning.html<br />http://demonstrate.ycool.com/post.3122672.html<br />http://blogger.org.cn/blog/more.asp?name=DMman&id=27357<br /> <br /> <br />在机器学习(Machine learning)领域，监督学习(Supervised learning)、非监督学习(Un
【李宏毅机器学习】Semi-supervised Learning 半监督学习（p24） 学习笔记
duanyuchen的博客
08-01 916
文章目录Semi-supervised LearningIntroductionSupervised LearningSemi-supervised Learning Semi-supervised Learning Introduction Supervised Learning 训练数据是一个function的输入和输出构成的pair Semi-supervised Learning 训练数据有两部分： 在label data上一个function的输入和输出构成的pair 在unlabel dat
半监督学习----西瓜书机器学习笔记及理解（五）
weixin_43899239的博客
10-23 1222
用于建模数据的分布，同时利用少量的标记数据和大量的未标记数据进行训练。这种方法特别适用于标记数据稀缺但未标记数据丰富的情况。论文《Semi-Supervised Learning with Deep Generative Models》中提出了一种新的框架，该框架使用和来处理半监督学习问题。生成式半监督学习通过结合和，提供了一种有效的方法来利用未标记数据来提高分类器的性能。假设所有的数据都是由同一个的，将有标记和未标记数据（看作模型模型确实参数）联系起来，可用EM看作极大似然估计求解。
Semi-supervised classification with graph convolutional networks文章翻译
最新发布
03-23
### 关于《Semi-Supervised Classification with Graph Convolutional Networks》的中文翻译 以下是《Semi-Supervised Classification with Graph Convolutional Networks》文章的核心内容及其翻译： #### 图卷积网络简介 该研究提出了一种基于图结构数据的半监督分类方法，利用图卷积神经网络（Graph Convolutional Network, GCN）来处理带有图结构的数据集。这种方法通过谱图理论中的局部一阶近似技术，能够有效地对图中的节点特征以及其邻域关系进行编码[^1]。 #### 半监督学习背景 在许多实际场景中，获取标签的成本较高，因此仅有一部分数据被标注，而大部分数据未被标记。这种情况下，半监督学习成为一种重要的解决方案。本文提出的模型能够在少量标注样本的基础上，充分利用大量无标签数据的信息来进行预测和分类任务[^2]。 #### 方法核心 作者引入了一个简单的两层图卷积网络架构，其中每一层都由一个线性变换矩阵乘法操作组成，并结合激活函数以增加非线性特性。具体来说，输入为节点特征向量 X 和描述节点间连接关系的邻接矩阵 A，在经过多轮传播更新之后得到最终表示 H^(L)，再通过 softmax 函数转化为概率分布形式完成分类工作[^3]。 #### 实验验证 为了证明所提方案的有效性和优越性能，实验选取了多个标准基准测试集合进行了对比分析。结果显示相比于其他传统算法或者复杂深度学习框架而言，本方法不仅计算效率更高而且取得了更好的效果表现。 --- ```python import numpy as np from tensorflow.keras.layers import Dense from tensorflow.keras.models import Model def gcn_layer(A_hat, input_dim, output_dim): """ 定义单层GCN 参数: A_hat (numpy.ndarray): 预处理后的邻接矩阵 input_dim (int): 输入维度大小 output_dim (int): 输出维度大小 返回: function: GCN 层定义 """ W = np.random.randn(input_dim, output_dim) * 0.01 # 初始化权重参数 b = np.zeros((output_dim,)) def layer(X): return np.dot(np.dot(A_hat, X), W) + b return layer # 构建简单模型实例化过程省略... ``` 上述代码片段展示了如何构建基本版本的一层GCN实现方式之一。 --- #### 总结 通过对图结构特性的深入挖掘，《Semi-Supervised Classification with Graph Convolutional Networks》成功设计出了适用于大规模稀疏图上的高效半监督分类器——即著名的GCNs家族成员之一。它凭借简洁优雅的设计思路赢得了广泛认可并推动了后续一系列改进型变体的发展方向。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

catbird233

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值