TonLP的博客

在我的Macbook Pro上安装能使用GPU加速的Theano目的最近深度学习的应用非常火爆，有意向要在NLP上应用深度学习的我要对各种开源的深度学习库进行探索，目前比较流行的Python语言的深度学习库有Theano、Google开源的Tensorflow、keras等。由于我日常使用的机器都是Macbook Pro，没有N卡，只有一张Intel Iris(TM) Graphics 6100（本

以TensorFlow的卷积神经网络为例卷积-池-卷积-池-全连接-softmax 前向传导C1层：卷积神经网络的输入是28×28的矩阵AA，经过F1F_1个5×5的卷积核K1i(i=1,2,...,F1)K_i^1(i=1,2,...,F_1)的卷积生成F1F_1个24×24大小的feature maps： C1i=conv2(A,K1i,′VALID′)+b1iC_i^1=conv2(A,

本文章的例子来自于WILDMLvanillaRNN是相比于LSTMs和GRUs简单的循环神经网络，可以说是最简单的RNN。RNN结构RNN的一个特点是所有的隐层共享参数(U,V,W)(U, V, W)，整个网络只用这一套参数。RNN前向传导st=tanh(Uxt+Wst−1)s_t=tanh(Ux_t+Ws_{t-1}) ot=softmax(Vst)o_t=softmax(Vs_t)sts_t为

玻尔兹曼机是一种随机网络，它基于能量模型进行建模。能量模型我们一般认为物体的能量越高越不稳定，能量越低越趋于稳定。比如说，斜坡上的一个箱子，它位于越高的位置，则拥有更高的重力势能。能量模型把箱子停在哪个位置定义为一种状态，每个状态对应着一个能量。这个能量由能量函数来定义，箱子位于某个位置(某个位置)的概率。比如箱子位于斜坡1/2高度上的概率为p，它可以用E表示成p=f(E)p=f(E)。能量概率模型

首先介绍一个学习DL4NLP的一个网站WildML，英文的，有空我也整理一下中文版。这篇讲的是神经网络的基础，没有RNN、CNN等结构。废话少说，直接上要推导的一个简单的神经网络结构图。例子：三层神经网络这个神经网络包含一个输入层、一个隐含层和一个输出层。 注意输出的神经元有两个（多个），这个经常用在一个二（多）分类任务上，代表着每一类的概率，相应的激活函数变成了softmax函数（相当于多分类逻