自然语言处理大菜鸟--HsingWang

前言：昨天看到微博上分享的深度学习视频，为上海复旦大学吴立德教授深度学习课程，一共六课时，视频地址。在此我结合其他资料，写点个人的学习笔记进行记录。简单概念：神经元 图1,神经元  （图片来自维基百科）神经元输入：    [此处的x对应图1中的a]神经元输出：    [此处中的a对应图1中的t]神经层图2.神经网

在写系统时候遇到一个问题：模仿的版本在测试阶段，把所有权重乘以一个保留概率（做法1）。而GJH他看的Keras里面测试阶段什么都不做（做法2），所以比较好奇，怎么做法不同？但是随手搜了几个中文博客，都是按做法1来的，训练阶段按保留概率随机生成一个保留矩阵(元素要么0-丢弃，要么1-保留)，然后测试阶段所有权重乘以保留概率。在回头看TensorFlow的Dropout函数ht

Theano tutoria 有关于scan的说明：http://deeplearning.net/software/theano/library/scan.html首先，两个简单的例子。第一种：给定循环步数n_steps计算那个A**kimport theanoimport theano.tensor as Tk = T.iscalar("k")A = T

参考博客：http://blog.youkuaiyun.com/u012162613/article/details/43225445#comments仍然报错：头大了，只能一边求救于师兄，一边自己google。

Case 1:使用推荐的配置 learning_rate = 0.01  L1_reg = 0.00 L2_reg=0.0001n_epoches=1000batch_size=20n_hidden=500实验结果:实验耗时：Case 2:自己中间加入两个隐含层，分别为400 和 300 个节点。实验配置如下： learn

递归神经网络工具地址：http://www.fit.vutbr.cz/~imikolov/rnnlm/

代码参考：http://deeplearning.net/tutorial/lenet.html#lenet代码学习：http://blog.youkuaiyun.com/u012162613/article/details/43225445本节实验代码下载：Github2015/4/9Experiment 1:  使用Tutorial推荐的CNN结构实验learnin

Recurrent Neural Network Language Modeling Toolkit  工具使用点击打开链接按照训练的进度学习代码：trainNet()中的结构：step1. learnVocabFromTrainFile() 统计训练文件中所有的单词信息，并对统计好的信息进行整理                    涉及的数据结构：

前言：昨天看到微博上分享的深度学习视频，为上海复旦大学吴立德教授深度学习课程，一共六课时，视频地址点击打开链接。在此我结合其他资料，写点个人的学习笔记进行记录。第一课：概率本课吴老师对深度学习做了一个简单的介绍。内容分为三块：1.深度学习简介  2.深度学习应用   3.领域概况1.深度学习简介。     深度学习（deep learning）是机器学习（machi

语言模型 概率语言模型 神经概率语言模型 Deep Learning

前言：昨天看到微博上分享的深度学习视频，为上海复旦大学吴立德教授深度学习课程，一共六课时，视频地址点击打开链接。在此我结合其他资料，写点个人的学习笔记进行记录。第三，四课：稀疏编码本课吴老师对稀疏编码做了一个简单的介绍。内容分为三块：1.深度学习   2.稀疏编码**这两节课讲的是稀疏编码，关于稀疏编码编码，数学理解不难。难得是如何跟实际问题结合起来。所以这两节笔记仅仅

问题：在深度学习训练中，之前的cost是正常的，突然在某一个batch训练中出现Nan。网络搜索的资料：1. How to avoid that Theano computing gradient going toward NaN https://stackoverflow.com/questions/40405334/how-to-avoid-that-theano-computing-