qian2729的专栏

解读hintonRBM的matlab实现关于RBM（受限波尔玆曼机）受限波尔玆曼机是生成式模型。输入数据可以根据概率生成出来。 RBM通常用contrastive divergence来进行训练，这是Hinton在2002年提出来的。将在后续的博文中对其进行介绍。 RBM由两层组成，一层可见层，一层隐藏层。由隐藏层对可见层数据进行特征提取。可见层可以为二值或实数值，隐藏层为二值。网络的能量由以下

本篇博客是对基于能量的模型和波尔兹曼机学习的总结。1. 基于能量的模型(EBM)基于能量的模型主要有两个任务，一个是推断(Inference)，在给定观察变量的情况下，找到使能量值最小的那些隐变量的配置。另一个是学习(Learning),寻找一个恰当的能量函数，使得观察变量的能量比隐变量的能量低。 基于能量的概率模型通过一个能量函数来定义概率分布。 p(x)=e−E(x)Z...(1)p(x)=

本篇博文是对基于能量的模型和波尔兹曼机关于Gibbs采样的总结。 Gibbs采样是一种基于马尔可夫链蒙特卡罗(Markov Chain Monte Carlo，MCMC)策略的采样方法。对于一个K维随机向量X=(X1,X2,...,Xk)X=(X_1,X_2,...,X_k),假设我们无法求得关于X的联合概率分布P(X)，但是我们知道在给定X的其它分量时，其第kk个分量XkX_k的条件分布，即P(

内容来在 A Practical Guide to Training Restricted Boltzmann Machines mini-batch 的大小通常选为10－100。 为了避免在改变mini－batch大小时需要改变学习速率，所以需要将在mini－batch上得到的梯度处理mini－batch的大小。 如果选择随机梯度下降的方法进行优化，最好不要将mini-batch的大小设置的

假设可见层和隐藏层单元都是二值的。学习的目的是针对训练数据构建一个好的生成模型。更新隐藏层假设隐藏层单元是二值的，而且使用的是CD1CD_1，隐藏层单元在通过数据向量驱动得到时应该具有随机的二值状态。隐藏层单元置为1的概率为 p(hj=1)=σ(bj+∑iviWij)p(h_j=1)=\sigma (b_j + \sum_i v_iW_{ij}) 随机生成一个均匀分布的0到1之间的值，如果该值大

本篇博文是对基于能量的模型和波尔兹曼机关于对比散度算法的总结。对比散度算法(Contrastive Divergence)尽管利用Gibbs采样，我们可以得到对数似然函数关于未知参数梯度的近似，但是通常情况下，需要使用较大的采样步数，这使得RBM的训练效率仍然不高，尤其当观测数据的特征维数较高时。2002年Hinton提出了RBM的一个快速学习算法，对比散度算法(Contrastive Diverg

最简单的监测学习过程的方法，就是计算数据和重建可见层数据的平方和误差。 但是平方和误差并不能很准确的表示学习的效果。 小的平法误差和并不能表示模型开始变得不好，但是大的平方误差和通常意味着模型开始变的不好了。但也有可能是学习速率、冲量、权重cost、稀疏性参数改变导致的平方和误差的大的改变。 对此，Hinton给的建议是，使用平方和误差作为监测学习过程的手段，但是并不完全相信它。 如果你有l

题目解读使用卷积深度可信网络以非监督的方式学习语音数据的特征，用学习到的特征进行分类文章特点无监督使用卷积受限玻尔玆曼机多层（深度)网络摘要第一个使用深度学习的方式处理音频数据。 使用卷积深度可信网络无监督提取音频特征 使用提取的音频特征进行了多种不同的语音分类任务简介![深度可信网络][4]是一种生成式概率模型，包含一个可见层和多个隐藏层。每个隐藏层的单元学习底层单元的统计关系。可以通