花梦飞的博客

在机器学习中，我们经常提到熵的概念。例如我们经常使用交叉熵衡量目标（target）与预测值（real）之间的差距，使用KL散度（也称作相对熵）衡量两个概率分布之间的距离。交叉熵和相对熵这些概念其实都来自于信息论，并且自我认为机器学习本身也是对样本信息的学习，另外最近在研究GAN模型和VAE模型（也就是我们常说的生成模型）时，经常会使用到，所以有必要将其单独拿出来作为我学习的一个记录。要了解交叉...

1、概述监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出。这个模型的一般形式为决策函数：或者条件概率分布：监督学习方法又可以分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型分别称为生成模型（generative  model）和判别模型（discriminative mode...

参考博客：https://blog.youkuaiyun.com/stalbo/article/details/792833990、摘要GAN提出了一个通过对抗过程估计生成模型的新框架，在新框架中同时训练两个模型：一个用来捕获数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，G的训练过程是最大化D产生错误的概率。这个框架相当于一个极小极大化的双方博弈。在任意函数G 和D ...

参考论文：https://arxiv.org/pdf/1606.01583.pdfhttp://arxiv.org/abs/1606.03498摘要近几年，深度学习声名鹊起，一个又一个AI领域被深度学习攻破，然而现在大部分深度学习所采用的算法都是有监督学习的方法，需要大量的标注数据，这也就需要耗费大量的人力物力。因此如何充分利用大量的无标签数据资源，必将成为未来深度学习领域的研究焦点。...

参考文章：https://kexue.fm/archives/5716https://zhuanlan.zhihu.com/p/40282714本篇博客主要是参照上述两个博文，另外加入了一些自己的理解，也为了和自己学习或者常见的知识做一个对照，因为在学习过程中总有一个问题困扰，就是符号，前后的符号对照不好，还得想半天。所以有些符合可能跟原文章对不上，但跟我之前的博客可以对上。特意将常用...

参考博客：https://blog.youkuaiyun.com/zijin0802034/article/details/58643889https://blog.youkuaiyun.com/shenxiaolu1984/article/details/75736407paper：Improved Techniques for Training GANscode：Theano实现摘要我们提出了一些...

一、介绍      Theano是一个Python库，专门用于定义、优化、求值数学表达式，效率高，适用于多维数组。特别适合做机器学习。一般来说，使用时需要安装python和numpy。     首先回顾一下机器学习的东西，定义一个模型（函数）f(x;w) x为输入，w为模型参数，然后定义一个损失函数c(f),通过数据驱动在一堆模型函数中选择最优的函数就是训练training的过程，在机器学...

一、Theano的基本用法定义函数的方式：步骤 0 宣告使用theano import theano步骤 1 定义输入 x=theano.tensor.scalar() 这里相当于tensorflow的placeholder步骤 2 定义输出 y=2*x步骤3 定义fuction f = theano.function([...

一、定义神经网络的层我们将神经网络的层封装为类，对于神经网络，我们需要输入数据，输入大小，输出大小还有激活函数的使用。import numpy as npimport theano.tensor as Timport theanoimport matplotlib.pyplot as pltclass Layer(object): def __init__(self,inpu...