如何实现一个半监督GAN (SGAN)从零开始 （Keras 版本）

最新推荐文章于 2024-05-18 02:30:00 发布
最新推荐文章于 2024-05-18 02:30:00 发布
阅读量5.4k 收藏 65
点赞数 12
分类专栏： 无监督 文章标签： 半监督 深度学习 gan sgan 图像识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42182910/article/details/103216558
版权

半监督学习是一个具有挑战性的问题，它需要在一个包含少量标记样例和大量未标记样例的数据集中训练一个分类器。

生成式对抗网络(GAN)是一种有效利用大型未标记数据集，通过图像鉴别器模型训练图像生成器模型的体系结构。在某些情况下，鉴别器模型可以作为开发分类器模型的起点。

半监督GAN(或称SGAN)模型是GAN体系结构的扩展，它涉及同时训练监督鉴别器、非监督鉴别器和生成器模型。结果是一个监督分类模型，可以很好地推广到不可见的例子和一个生成器模型，可以输出来自该领域的图像的可信的例子。

在本教程中，您将了解如何从头开始开发一个半监督的生成式对抗网络。

完成本教程后，您将知道:

  • 半监督GAN是GAN体系结构的扩展，用于训练分类器模型，同时利用有标记和无标记数据。
  • 在Keras中，至少有三种实现半监督GAN中监督和非监督鉴别器模型的方法。
  • 如何在MNIST和负载上从无到有地训练半监督GAN，并使用训练好的分类器进行预测。

Let’s get started

教程概述


本教程分为四个部分;它们是：
1、半监督GAN是什么?
2、如何实现半监督鉴别器模型
3、如何为MNIST开发半监督GAN
4、如何加载和使用最终的SGAN分类器模型

半监督GAN是什么?

半监督学习是指需要一个预测模型，并且有标记的例子很少，而没有标记的例子很多的问题。

最常见的例子是一个分类预测建模问题，其中可能有一个非常大的数据集的例子，但只有一小部分有目标标签。该模型必须从小的标记示例集合中学习，并以某种方式利用更大的未标记示例数据集，以便在将来推广到对新示例进行分类。

半监督GAN(有时简称SGAN)是用于解决半监督学习问题的生成式对抗网络体系结构的扩展。

"这项工作的主要目标之一是提高生成式对抗性网络在半监督学习中的有效性(在这种情况下，通过对其他未标记示例的学习来提高监督任务的性能，即分类)。"

— Improved Techniques for Training GANs, 2016.

传统GAN中的鉴别器被训练来预测给定图像是真实的(来自数据集)还是伪造的(生成的)，从而使它能够从未标记的图像中学习特征。然后，在为同一数据集开发分类器时，可以通过转移学习将该鉴别器作为起点使用，从而使监督预测任务受益于GAN的非监督训练。

在半监督GAN中，将识别器模型更新为预测K+1类，其中K为预测问题中的类数，并为新的“伪”类添加额外的类标签。它涉及到同时对无监督GAN任务和有监督分类任务直接训练鉴别器模型。

"我们将生成模型G和鉴别器D训练在一个数据集上，该数据集的输入属于N个类中的一个。在训练时，D用来预测N+1个类中输入属于哪个类，其中增加一个额外的类来对应G的输出。"

— Semi-Supervised Learning with Generative Adversarial Networks, 2016.

因此，鉴别器训练有两种模式:监督模式和非监督模式。

  • 无监督训练:在无监督模式下，识别器以与传统GAN相同的方式进行训练，以预测样本是真还是假。
  • 监督训练:在监督模式下，训练鉴别器预测真实例子的类别标签。

在无监督模式下的训练允许模型从大量未标记的数据集中学习有用的特征提取功能，而在监督模式下的训练允许模型使用提取的特征并应用类标签。

这样的结果是一个分类器模型，它可以在标准问题上获得最新的结果，比如MNIST，当它只训练很少的有标记的例子时，比如几十个，几百个，或者1000个。此外，该训练过程还可以使生成器模型输出的图像质量更好。

例如,Augustus Odena 在2016年的论文题为“Semi-Supervised Learning with Generative Adversarial Networks”展示了如何GAN-trained分类器能够执行以及或比一个独立的CNN模型MNIST手写数字识别任务训练时25岁,50岁,100年和1000年标签的例子。

Example of the Table of Results Comparing Classification Accuracy of a CNN and SGAN on MNIST
例子的结果表比较一个CNN和SGAN在MNIST上的分类精度。
引自:具有生成式对抗网络的半监督学习标题
​​​​​

 

 

OpenAI的Tim Salimans等人在他们2016年发表的论文 “Improved Techniques for Training GANs”中，使用半监督的GAN(包括MNIST)完成了当时最先进的图像分类任务。

Example of the Table of Results Comparing Classification Accuracy of other GAN models to a SGAN on MNIST
标题在MNIST上比较其他GAN模型与SGAN分类精度的结果表的例子。

 

如何实现半监督鉴别器模型

有许多方法可以实现半监督GAN的鉴别器模型。

在本节中，我们将回顾三种候选方法。

 

传统的鉴别器模型

考虑一个标准GAN模型的鉴别器模型。

它必须以一个图像作为输入，并预测它是真的还是假的。更具体地说，它预测输入图像是真实的可能性。输出层使用sigmoid激活函数来预测[0,1]中的概率值，模型通常使用二元交叉熵损失函数进行优化。

例如，我们可以定义一个简单的识别器模型，该模型以灰度图像为输入，大小为28×28像素，预测图像的真实概率。我们可以使用最佳实践和采样图像使用卷积层与2×2的步幅和 leaky ReLU 激活函数。

下面的define_discriminator()函数实现了这个功能，并定义了我们的标准鉴别器模型。

# example of defining the discriminator model
from keras.models import Model
from keras.layers import Input
from keras.layers import Dense
from keras.layers import Conv2D
from keras.layers import LeakyReLU
from keras.layers import Dropout
from keras.layers import Flatten
from keras.optimizers import Adam
from keras.utils.vis_utils import plot_model

# define the standalone discriminator model
def define_discriminator(in_shape=(28,28,1)):
	# image input
	in_image = Input(shape=in_shape)
	# downsample
	fe = Conv2D(128, (3,3), strides=(2,2), padding='same')(in_image)
	fe = LeakyReLU(alpha=0.2)(fe)
	# downsample
	fe = Conv2D(128, (3,3), strides=(2,2), padding='same')(fe)
	fe = LeakyReLU(alpha=0.2)(fe)
	# downsample
	fe = Conv2D(128, (3,3), strides=(2,2), padding='same')(fe)
	fe = LeakyReLU(alpha=0.2)(fe)
	# flatten feature maps
	fe = Flatten()(fe)
	# dropout
	fe = Dropout(0.4)(fe)
	# output layer
	d_out_layer = Dense(1, activation='sigmoid')(fe)
	# define and compile discriminator model
	d_model = Model(in_image, d_out_layer)
	d_model.compile(loss='binary_crossentropy', optimizer=Adam(lr=0.0002, beta_1=0.5))
	return d_model

# create model
model = define_discriminator()
# plot the model
plot_model(model, to_file='discriminator_plot.png', show_shapes=True, show_layer_names=True)

运行该示例将创建鉴别器模型的一个图，清楚地显示输入图像的28x28x1形状和单个概率值的预测。

Plot of a Standard GAN Discriminator Model
一个标准的GAN鉴别器模型的绘图标题

 

 

 

使用共享权重的独立鉴别器模型

 

从标准的GAN鉴别器模型开始，我们可以更新它来创建两个共享特征提取权值的模型。

具体来说，我们可以定义一个分类器模型来预测输入图像是真还是假，然后定义第二个分类器模型来预测给定模型的类。

这两个模型都有不同的输出层，但是共享所有的特征提取层。这意味着对其中一个分类器模型的更新将影响两个模型。

 

下面的示例首先创建具有二进制输出的传统鉴别器模型，然后重用特征提取层并创建一个新的多类预测模型，在本例中为10个类。

# example of defining semi-supervised discriminator model
from keras.models import Model
from keras.layers import Input
from keras.layers import Dense
from keras.layers import Conv2D
from keras.layers import LeakyReLU
from keras.layers import Dropout
from keras.layers import Flatten
from keras.optimizers import Adam
from keras.utils.vis_utils import plot_model

# define the standalone supervised and unsupervised discriminator models
def define_discriminator(in_shape=(28,28,1), n_classes=10):
	# image input
	in_image = Input(shape=in_shape)
	# downsample
	fe = Conv2D(128, (3,3), strides=(2,2), padding='same')(in_image)
	fe = LeakyReLU(alpha=0.2)(fe)
	# downsample
	fe = Conv2D(128, (3,3), strides=(2,2), padding='same')(fe)
	fe = LeakyReLU(alpha=0.2)(fe)
	# downsample
	fe = Conv2D(128, (3,3), strides=(2,2), padding='same')(fe)
	fe = LeakyReLU(alpha=0.2)(fe)
	# flatten feature maps
	fe = Flatten()(fe)
	# dropout
	fe = Dropout(0.4)(fe)
	# unsupervised output
	d_out_layer = Dense(1, activation='sigmoid')(fe)
	# define and compile unsupervised discriminator model
	d_model = Model(in_image, d_out_layer)
	d_model.compile(loss='binary_crossentropy', optimizer=Adam(lr=0.0002, beta_1=0.5))
	# supervised output
	c_out_layer = Dense(n_classes, activation='softmax')(fe)
	# define and compile supervised discriminator model
	c_model
最低0.47元/天 解锁文章
Keras深度学习实战（15）——从零开始实现YOLO目标检测
盼小辉丶的博客
07-20 8608
YOLO 是基于锚框的经典目标检测算法，能够实现快速检测的同时具有较高的准确率，其将目标检测任务看作目标区域预测和类别预测的回归问题，实现端到端的目标检测。本文首先介绍了 YOLO 模型的核心思想与目标检测流程，然后使用 Keras 从零开始实现了一个基于 YOLO 的目标检测模型。......
Keras深度学习实战（14）——从零开始实现R-CNN目标检测
盼小辉丶的博客
07-17 8099
R-CNN 是基于候选区域的经典目标检测算法，其将卷积神经网络引入目标检测领域。本文首先介绍了 R-CNN 模型的核心思想与目标检测流程，然后使用 Keras 从零开始实现了一个基于 R-CNN 的目标检测模型，最后介绍了非极大值抑制用于移除相似的预测边界框。.........
Python-Tensorflow中的半监督学习GAN
08-11
半监督学习生成对抗网络的Tensorflow实现
GAN半监督学习
WeisongZhao
06-16 1512
概述GAN的发明者Ian Goodfellow2016年在Open AI任职期间发表了这篇论文，其中提到了GAN用于半监督学习(semi supervised)的方法。称为SSGAN。 作者给出了Theano+Lasagne实现。本文结合源码对这种方法的推导和实现进行讲解。1半监督学习考虑一个分类问题。 如果训练集中大部分样本没有标记类别，只有少部分样本有标记。则需要用半监督学习(semi-sup...
GAN实现半监督学习
weixin_34041003的博客
06-15 511
作者不让转载，就附个连接吧，好让以后查找方便一些1、GAN实现半监督学习https://blog.youkuaiyun.com/qq_25737169/article/details/78532719这个里面有具体python代码实现2、生成对抗网络（GAN）应用于图像分类https://blog.youkuaiyun.com/diligent_321/article/details/5...
手把手教你用GAN实现半监督学习
热门推荐
Double_V的博客
11-14 4万+
引言 本文主要介绍如何在tensorflow上仅使用200个带标签的mnist图像，实现在一万张测试图片上99%的测试精度，原理在于使用GAN做半监督学习。前文主要介绍一些原理部分，后文详细介绍代码及其实现原理。前文介绍比较简单，有基础的同学请掠过直接看第二部分，文章末尾给出了代码GitHub链接。对GAN不了解的同学可以查看微信公众号：机器学习算法全栈工程师 的GAN入门文章。 本博客中的代...
ACGAN-半监督式GAN
北国觅梦
12-01 605
参考文献 https://www.jianshu.com/p/aef29fe51c73 D_real, C_real = Discriminator( real_imgs) # real_img 为输入的真实训练图片 D_real_loss = torch.nn.BCELoss(D_real, Y_real) # Y_real为真实数据的标签，真数据都为-1，假数据都为+1 C_real_loss = torch.nn.CrossEntropyLoss(C_re...
CycleGAN的Keras实现
04-26
在`Resnet.py`文件中，你可以找到ResNet的实现，这是一个用于图像分类的深度残差网络，但在CycleGAN中，它被用作生成器的基础结构。 2. **判别器（Discriminator）**：也是基于CNN，其任务是区分输入图像是否为真实...
Keras深度学习实战——从零开始实现R-CNN目标检测
最新发布
走向CTO的路上...
05-18 2112
R-CNN (Region-based Convolutional Neural Network) 是一种经典的目标检测算法，它将卷积神经网络 (CNN) 引入目标检测领域，取得了巨大的成功。
半监督的GAN算法
weixin_30729609的博客
12-03 392
ImprovedGAN $ Loss = Loss_{supervised} + \lambda * Loss_{unsupervised} $ 第二项形式与原始的GAN模型类似。 参考： Improved Techniques for Training GANs 代码： https://github.com/Sleepychord/ImprovedGAN-pytorch/blob/maste...
基于GAN的半监督学习
weixin_43698821的博客
12-01 1033
Semi-supervised GAN 半监督学习更好的利用无标识数据，由于无标识数据和有标识数据有相同的数据分布。 K+1类的识别是有效的，因为生成器生成的补充样本能促使判别器把分类边界置于低密度区域。 好的semi-supervised GAN需要一个效果差的生成器，因为完美的生成器无法再提高。 ...
使用GAN进行半监督分类（GAN for Semi-Supervised Classification）
weixin_43902447的博客
05-25 3301
对于一个用于半监督分类（后简称分类）的GAN来说，最重要的是Generator（生成器），Discriminator（判别器）只有一个作用：训练生成器。我们来看看，在此分类问题中，判别器将提供什么样的帮助。 Semi-Supervised GAN: the 200 Words Summary 首先来看一个“Cluster”聚类的概念，想象一下你的分类任务就是只含有两个不同特征的点集，它们的分布看起来是这样的： 这里有两个圆，分别代表两个类别：橙色 和 蓝色，如果是这样的一个任务，我相信不用深度学习方法就能
半监督生成对抗网络（gan）在分类和检测任务上的流程
weixin_39853245的博客
07-16 3725
半监督： 半监督学习是指监督学习与无监督学习的结合，是在含有少量被标记数据的情况下,利用大量未标记图像进行无监督学习从而改善监督学习的性能。 半监督GAN用于分类的步骤： 将GAN中判别器的输出层替换成softmax分类器，假设训练数据有C类，则softmax输出C+1类，多一个生成器生成的伪图像的概率。由于判断真伪图像的任务是无监督的，因此我们可以利用到大量的未标注样本来进行训练。 训练时将未标注图像和标注图像都送入GAN中，生成器用于生成伪图像，判别器用于判别送入其中的是伪图像还是具体某一个类别的真图像
GAN学习记录（三）——半监督生成对抗网络（SGAN）
yunlong_G的博客
05-03 8769
半监督生成对抗网络（SGAN） 半监督生成对抗网络（Semi-Supervised GAN，SGAN）是一种生成对抗网络，其鉴别器是多分类器。这里的鉴别器不只是区分两个类（真和假），而是学会区分N+1类，其中N是训练数据集中的类数，生成器生成的伪样本增加了一个类。 结构区别 与传统GAN相比，SGAN区分多个类的任务不仅影响了鉴别器本身，还增加了SGAN架构、训练过程和训练目标的复杂性。 SGAN生成器的目的与原始GAN相同：接收一个随机数向量并生成伪样本，力求使伪样本与训练数据集别无二致。但是，SGAN
GAN用于半监督学习
boooiaji的博客
05-12 419
<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-211130ba7a.css"> <div id="content_views" class="markdown_views prism-atom-one-dark"> <!-- flowchar...
GAN实战：半监督生成对抗网络
人邮异步社区
05-08 4169
半监督学习（semi-supervised learning）是GAN在实际应用中最有前途的领域之一。与监督学习（数据集中的每个样本有一个标签）和无监督学习（不使用任何标签）不同，半监督学习只为训练数据集的一小部分提供类别标签。通过内化数据中的隐藏结构，半监督学习努力从标注数据点的小子集中归纳，以有效地对从未见过的新样本进行分类。要使半监督学习有效，标签数据和无标签数据必须来自相同的基本分布。 缺少标签数据集是机器学习研究和实际应用中的主要瓶颈之一。尽管无标签数据非常丰富（互联网实际上就是无标签图像、视频
生成对抗网络gan原理_生成对抗网络（GAN）的半监督学习
weixin_39664696的博客
11-25 941
前言如果您曾经听说过或研究过深度学习，那么您可能就知道MNIST, SVHN, ImageNet, PascalVoc或者其他数据集。这些数据集都有一个共同点： 它们由成千上万个有标签的数据组成。 换句话说，这些集合由(x，y)对组成，其中(x)是原始数据，例如是一个图像矩阵；而(y)则表示该数据点(x)表示的标签。以MNIST数据集为例， MNIST数据集包含60,000个图像数据，每个数据表征...
GAN在半监督学习上的应用
花梦飞的博客
12-30 3001
参考论文：https://arxiv.org/pdf/1606.01583.pdf http://arxiv.org/abs/1606.03498 摘要 近几年，深度学习声名鹊起，一个又一个AI领域被深度学习攻破，然而现在大部分深度学习所采用的算法都是有监督学习的方法，需要大量的标注数据，这也就需要耗费大量的人力物力。因此如何充分利用大量的无标签数据资源，必将成为未来深度学习领域的研究焦点。...
半监督学习（semi-supervised learning）
n不正
04-15 5675
半监督学习（semi-supervised learning）1 introduction why semi-supervised learning? 收集数据很贵，收集有标签的数据更贵！ superviesd：D={(xi,yi)}Ni=1D = \{ (x_i,y_i)\}_{i = 1}^N semi-supervised：D={(xi,yi)}Mi=1∪{xu}Nj=M+1D
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值