Eureka

Content6.1 Example: XOR 6.2 Gradient-Based Learning 　　6.2.1 Cost Function 　　　6.2.1.1 Learning Conditional Distributions with Maximum Likelihood 　　　6.2.1.2 Learning Conditional Statistics 　　6.2.2 O

一、Importance Sampling对于一个比较复杂函数的积分，我们往往是在这条乱七八糟的取消下面画方格，对方格做累加来近似这个函数的积分；方格的高就是此时的函数值，方格的宽度依据采样的方式决定。 均匀采样： 这里x是随机变量，它的分布式p(x)，f(x)就是这个随机变量的函数。但是它带来的问题是如果f(x)的分布是在一段值特别大，而另一段值特别接近零。那么如果还采用均匀采样，在f(x

什么是Representation Learning？ 根据Bengio在2013年的一篇综述论文里的描述，所谓Representation Learning， 就是“learning the representations of the data that make it easier to extract useful information when building classifiers

Autoencoders是一类neural network。这类NN最基本的用法是在输入和输出之前建立模糊复制关系。之所以不是精确复制是因为这个模型需要自动确定哪些信息是需要从input输出到output的。它的图示表示如下： 一、 Undercomplete Autoencoders这类autoencoders的设计目的是通过隐变量h抓取对于输入数据x内最有意义的信息。因为需要抓取信息，因此一般

Linear Factor Models的生成模型描述如下： 1) 生成一个explanatory factors h⃗ \vec{h}，这个factors服从一个任意的分布。与此同时它的单个元素彼此独立，这样可以便于采样。（一般认为独立都是为了简化运算和降低模型复杂度吧） 2) 通过这个隐变量h⃗ \vec{h}推导得到实际的观测值（real-valued observable variabl

一、Recurrent Neural NetworksRecurrent Neural Networks是用来处理序列数据的网络，即数据不再是散乱地组成一个训练集合。数据之间的排列顺序本身也是具有信息量的。打乱数据之间的排列前后输出的结果是不同的。 一般recurrent neural networks有三种形式： 1) 每步都有输出O，recurrent connections存在于hidde

一、什么是Convolution打比方说我们有一个小车在一块木板上运动。还有一个超声波传感器对这辆小车来测距，但是这个传感器带有误差。我们在某一个特定时间点t测得的结果不一定准确。于是我们做一件事情：将几个连续、不同的时间段的测量值依据某一个权值序列，融合成一个单独的估计值。用这个估计值来代替t时刻的测量值。这就是convolution了。这里个人觉得这个等式成立：convolution = wei

Chapter 8神经网络的基础优化算法：Algorithm 8.1 在训练停止的条件还未满足的时候，每次取出m个训练样本。对这m个样本采用最速下降法（先对cost function（一般是log-likelihood）求梯度，后根据梯度更新参数），直到训练停止的条件满足。Algorithm 8.2 momentum算法的出现是为了加速SGD。它的思想类似于物理里面的冲量。物体在一段时间

Chapter 7 Algorithm 7.1 首先提一下为什么需要Early Stopping。 当我们的训练集比较大的时候，往往容易发生overfit。在这个时候训练误差虽然会随时间稳定下降，但是交叉验证的误差却极其有可能重新上升，如下图所示。 因此我们需要一个early stop，并非让validation error降到一个局部最优解，而是一个全局最优解（在一长段时间内这个

Chapter 6 Algorithm 6.1 （forward propagation） 描述神经网络图中，输入是如何映射到输出的。 第一个for循环： 完成第一个到第ni个变量赋值给u对应节点的过程； 第二个for循环： A(i)代表着u(i)节点对应的父节点的集合； 这个循环将f(i)这个方法作用到了A(i)这个父节点的集合上，进而生成了子节点u(i)。Algorithm 6

一、Boltzmann MachinesEnergy-based model(EBM)具有以下形式： 同时，这个形式的分布又是Boltzmann distribution；许多的energy-based models又称为Boltzmann machines。 对Boltzmann machines，它们的联合分布都是结合了一个能量方程的： E(x)是能量方程，Z是配分方程（parti