taneijia的专栏

Theano是深度学习的利器。虽然现在有很多基于Theano的Python包，简化了构造深度神经网络的过程，如Lasagne，blocks等。但是使用了Lasagne之后，觉得还是不够灵活。直接使用Theano才是研究者应该有的态度。从Theano给出的基本Logistic Regression和MLP的例子出发，一步一步地实现adaptive Learning rate, RMPprop, dro

看一个视频，Deep Learning RNNaissance。最早开始Deep Learning的是这位同志：现在的乌克兰，以前的苏联人。 最早发明Back Propagation的： 然后是LSTM

“A Nonsensical Language Model using Theano LSTM”和 “不可思议的递归神经网络”所实现的例子非常相似。这个NBNotebook其实也是Github上的项目Theano_LSTM中的说明文件。先测试一下上面列出的例子是否能够运行。1 启动ipython的nbviewernbviewer是很炫的功能，但是以前很少用到。我比较喜欢黑色的commandline。

Theano 0.63有个Windows的安装包，比较好用。但是0.7版本就没有了。Deeplearning网站的Theano安装方法看起来很麻烦。参考了网上的一些安装方法，实验了一下在Windows7 （64）位上安装。下面这个安装步骤相对简单一点，特记录一下，以备后用。系统环境：Windows 7 (64位)1 安装AnacondaAnaconda包含了Theano所需的各种Python库，使用

1 Scan是干什么的函数scan是Theano中迭代的一般形式，所以可以用于类似循环(looping)的场景。 如果你熟悉Reduction和map两个函数，这两个都是scan的特殊形式，即将某函数依次作用一个序列的每个元素上。 函数scan的输入也是一些序列（一维数组，或者多维数组，以第一维为leading dimension），将某个函数作用于输入序列上，得到每一步输出的结果。 和Red

按照Daniel Nouri的Tutorial（2014年12月写的）实验一下，目的是： 1. 玩一下面部特征的定位 2. 再熟悉一下Lasagne的使用。1 准备数据集在Kaggle上注册，然后下载facial keypoints tutorial的数据集，包括如下文件。并将文件放入$home/data/kaggle-facial-keypoint-detection目录中。IdLookupT

Kaggle上有两个情感分析的任务，这是其中的一个Bag of Words Meets Bags of Popcorn。任务虽然已经结束了，但是还有点研究的意义。 https://www.kaggle.com/c/word2vec-nlp-tutorial/data 这是一个炫耀Word2vec能力的竞赛，但是偏偏有人就是不用word2vec。 这个Blog写了用简单的TDF 作为Featu