wangli0519的博客

RNN-RBMRNN-RBM是一个能量基础模型，用于时间序列的密度估计，其中向量在时间戳可位于高维度。可用于描述多峰条件分布，其中是时间的序列历史，通过一些列条件RBM（每个时间戳一个），参数依赖于有隐藏单元的确定RNN的输出：   （1）  （2）单层RNN循环关系定义为：   （3）结果模型在时间上展开如下图：总体概率分布有给定序列在时间之和给出：

用逻辑回归对MNIST数字分类本章我们将展示如何使用Theano进行最基本的分类：逻辑回归。我们从快速构建一个模型原型开始，一来回顾一下之前的知识，二来明确标记并展示如何使用Theano的图来表现数学公式。依据机器学习的传统，我们从MNIST数字分类开始。模型逻辑回归是一个线形概率分类器。参数包括权重矩阵W和偏差向量b。分类通过将输入向量映射到一组超平面实现，每一个超平面对应一个类

多层感知机我们下一个要介绍的结构是单隐藏层的多层感知机（MLP）。MLP可以看成一个输入层由学习到的非线性转化phi进行转化的逻辑回归分类器。这种转化将输入数据投影到线性可分空间。这个中间层被称为隐藏层。单隐藏层使MLP成为通用估算器。但稍后我们会看到使用多隐藏层具有更大的优势，这就是所谓的深度学习。详见Introduction to Multi-Layer Perceptrons (

卷积神经网络（LeNet）注意：当GPU和显示器相连时，对每个GPU函数的运行有几秒的限制，因为当GPU进行计算时无法与显示器相连。如果不做限制，显示冻结较长时间而使人误以为是电脑死机。可以通过降低批次规模来解决超时问题。诱因卷积神经网络（CNN）是MLP的仿生变异。从Hubel and Wiesel早期关于猫的视觉皮质研究，我们知道视觉皮质由一系列细胞通过复杂的排列组成。

降噪自动编码机 降噪自动编码机（dA）是传统自动编码机的延伸，在深度网络 [Vincent08]中被引入，我们先简单讨论一下自动编码机。自动编码机自动编码机接受输入,首先通过确定映射使用编码机把它映射到隐藏层的y属于，即这里s是非线性例如sigmoid。隐藏的y，或代码然后通过解码机映射回与x有相同形状的重构z。这个映射与此前的转化类似，即这里，撇不代表矩阵转置。z被看

堆叠降噪自动编码机堆叠降噪自动编码机（SdA）是堆叠自动编码机的延伸。如果对降噪自动编码机不太熟悉的话建议先阅读此前的相关文章。堆叠自动编码机降噪自动编码机可以堆叠起来构建深层网络，降噪自动编码机在下层发现的隐藏表征（输出码）可以作为当前层的输入。这种结构的非监督预训练以每次一层的方式进行。每层都使用降噪自动编码机最小化重构输入（前一层的输出）的误差。当前k层完成训练后就可

受限玻尔曼机（RBM)能量基础模型（EBM)能量基础模型为每一个感兴趣的变量设置分配一个标量能量。学习目的是改变能量函数以使它具有期待属性。例如我们希望通过理想或可行的设置获得低能量。能量基础的概率模型定义了能量函数的概率分布。均一化因子Z通过模拟物理系统称为分割函数。能量基础模型可以通过在训练数据的实证负指数相似上（随机）梯度下降习得。同逻辑回归，我们首先定义指数

深度置信网络[Hinton06]提出了RBMs可以堆叠起来以贪婪的方式进行训练以构成深度置信网络（DBN）。DBNs是学习提取训练数据深度结构表征的图模型，为观察到的向量x和l隐藏层h_k的联合分布建模如下：其中是k层已RBM的隐藏单元为条件的可见单元的条件性分布。是在RBM顶层的可见-隐藏联合分布。图示如下：DBN和RBM可使用贪婪的层际无监督训练原则是每层的基石，过程如下：

摘要这里提供一个使用Theano来实现循环神经网络（RNN）的长短期记忆（LSTM）结构。模型被用来执行Large Movie Review Dataset（即IMDB数据集）中电影评论的情感分析。任务中，给定一个电影评论，模型尝试预测它是正面还是负面的。这是一个二分类问题。数据如前提及，提供的脚本被用来训练LSTM循环神经网络。数据集是公开的，我们提供了一个已预处理的版本以适应L

本教程并不尝试去替代本科或研究生的机器学习课程，但我们会快速回顾一些重要的概念和标识以确保大家理解所讲的内容。你也需要下载本章提到的数据集从而能运行今后各章提到的例子。下载在每个学习算法页面，你能够下载相应的文件，如果你想一次全部下载，可以克隆本教程Git资源git clone https://github.com/lisa-lab/DeepLearningTutorials.gi