luchi007的专栏

前言autoML最近非常火热，在调参、特征选择等方面都有了不少的进展，与其同时，在深度网络日益复杂化的今天，如何为任务设计合适的网络结构成了每位炼丹工程师的日常，而在缺乏先验知识的情况下，调整网络结构往往需要较长的时间和精力，如何自适应的调整网络结构就成了一个值得研究的问题。今天主要介绍的是autoML下面的一种自适应调整网络结构的方法： NEURAL ARCHITECTURE SEARCH (下面简称NAS)，NAS主要作用是自适应构建网络结构，减轻人为调整的繁复劳动，还是值得一看的。NAS 开篇【

前面看过了CNN的基本结构，经典的模式如下图： 上图经典的CNN模型主要可以概括为三个部分：convolution层：convolution是将原来的输入向量映射成多个feature map，每个feature map的权重和偏移量都是一样的sub-sampling层：sub-sampling 层将feature map进一步缩小，可以选择down-sampling的方法有很多，...

RNN，也就是Recurrent Neural Network，循环神经网络，是非线性动态系统，将序列映射到序列，主要参数有五个：[Whv, Whh, Woh, bh, bo, h0] ，典型的结构图如下：解释一下上图：和普通神经网络一样，RNN有输入层输出层和隐含层，不一样的是RNN在不同的时间t会有不同的状态，其中t-1时刻隐含层的输出会作用到t时刻的隐含层[Whv, Wh...

上一篇说到windows下面的Theano安装，在前面的文章中也介绍了几种常见的神经网络形式，今天就使用Theano来编写一个简单的神经网络 我把Theano形容成一个模子，这个模子提供了一些计算方法，然后我们只需要定义模子的形状和填充数据就可以了，且慢慢看： 首先我们定义初始数据集：np.random.seed(0)train_X, train_y = datasets...

使用神经网络训练，一个最大的问题就是训练速度的问题，特别是对于深度学习而言，过多的参数会消耗很多的时间，在神经网络训练过程中，运算最多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。Theano支持GPU编程，但是只是对英伟达的显卡支持，而且对于Python编程而言，修改一些代码就可以使用GPU来实现加速了。...

Recurrent Neural NetworksHumans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw...

梯度下降中，计算完各个参数的导数之后就需要更新参数值了，最常用的更新参数方法就是： 【SGD】：x += - learning_rate * dx 但是这种方法收敛速度非常慢，其实除了这个更新参数的方法，还有很多的方法可以进行参数更新。  【Momentum update】： 这个方法对于深度学习的网络参数更新往往有不错的效果。本质意思是，在更新新的参数的时...

一个模子，这个模子提供了一些计算方法，然后我们只需要定义模子的形状和填充数据就可以了，且慢慢看： 首先我们定义初始数据集：np.random.seed(0)train_X, train_y = datasets.make_moons(300, noise=0.20)train_X = train_X.astype(np.float32)train_y = train_y.astype(np.int32)num_example=len(train_X) train_X是随机产生

多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。Theano支持GPU编程，但是只是对英伟达的显卡支持，而且对于Python编程而言，修改一些代码就可以使用GPU来实现加速了。 一，首先需要安装GPU环境（说明：我开始按照官网步骤发生了错误，下面是我综合网上一些资料最后安装成功之后的环境配置，本人机器能用） 安装Cuda，Cuda是英伟达公司提供的GPU开发环境，可以直接在官网上下载，我安装的是window

多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。Theano支持GPU编程，但是只是对英伟达的显卡支持，而且对于Python编程而言，修改一些代码就可以使用GPU来实现加速了。 一，首先需要安装GPU环境（说明：我开始按照官网步骤发生了错误，下面是我综合网上一些资料最后安装成功之后的环境配置，本人机器能用） 安装Cuda，Cuda是英伟达公司提供的GPU开发环境，可以直接在官网上下载，我安装的是window

hrow everything away and start thinking from scratch again. Your thoughts have persistence.Traditional neural networks can’t do this, and it seems like a major shortcoming. For example, imagine you want to classify what kind of event is happening at ever

使用tensor flow实验基于LSTM 的文本分类方法

引言前面已经介绍过RNN的基本结构，最基本的RNN在传统的BP神经网络上，增加了时序信息，也使得神经网络不再局限于固定维度的输入和输出这个束缚，但是从RNN的BPTT推导过程中，可以看到，传统RNN在求解梯度的过程中对long-term会产生梯度消失或者梯度爆炸的现象，这个在这篇文章中已经介绍了原因，对于此，在1997年 的Grave大作[1]中提出了新的新的RNN结构：Long Short Te

由于实验室事情缘故，需要将Python写的神经网络转成Java版本的，但是python中的numpy等啥包也不知道在Java里面对应的是什么工具，所以索性直接寻找一个现成可用的Java神经网络框架，于是就找到了JOONE，JOONE是一个神经网络的开源框架，使用的是BP算法进行迭代计算参数，使用起来比较方便也比较实用，下面介绍一下JOONE的一些使用方法。 JOONE需要使用一些外

最近在学习深度学习的一些内容，需要用到深度学习的库：theano。但是theano这玩意在Linux或者mac OS 下面比较好安装，只需要先装Anaconda然后使用Python的安装命令符，pip install theano即可，但是在windows中，之前装的时候经常报错出现 no module named gof这个错误让人烦躁不已，看了一些资料，后来终于在windows下安装了th

前面看过了CNN的基本结构，经典的模式如下图： 上图经典的CNN模型主要可以概括为三个部分：convolution层：convolution是将原来的输入向量映射成多个feature map，每个feature map的权重和偏移量都是一样的sub-sampling层：sub-sampling 层将feature map进一步缩小，可以选择down-

RNN，也就是Recurrent Neural Network，循环神经网络，是非线性动态系统，将序列映射到序列，主要参数有五个：[Whv, Whh, Woh, bh, bo, h0] ，典型的结构图如下：解释一下上图：和普通神经网络一样，RNN有输入层输出层和隐含层，不一样的是RNN在不同的时间t会有不同的状态，其中t-1时刻隐含层的输出会作用到t时刻的隐含层[Whv,

上一篇说到windows下面的Theano安装，在前面的文章中也介绍了几种常见的神经网络形式，今天就使用Theano来编写一个简单的神经网络 我把Theano形容成一个模子，这个模子提供了一些计算方法，然后我们只需要定义模子的形状和填充数据就可以了，且慢慢看： 首先我们定义初始数据集：np.random.seed(0)train_X, train_y =

使用神经网络训练，一个最大的问题就是训练速度的问题，特别是对于深度学习而言，过多的参数会消耗很多的时间，在神经网络训练过程中，运算最多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。Theano支持GPU编程，但是只是对英伟达的显卡支持，而且对于Python编程而言，修改一些代码就可以使用GPU来实现加速了。

Recurrent Neural NetworksHumans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t thro

引言文本分类这个在NLP领域是一个很普通而应用很广的课题，而且已经有了相当多的研究成果，比如应用很广泛的基于规则特征的SVM分类器，以及加上朴素贝叶斯方法的SVM分类器，当然还有最大熵分类器、基于条件随机场来构建依赖树的分类方法、当然还有普通的BP神经网络分类方法。在传统的文本分类词袋模型中，在将文本转换成文本向量的过程中，往往会造成文本向量维度过大的问题，当然也有其他的压缩了维度的一些分类方法。然

前言在tensorflow的官方文档中得卷积神经网络一章，有一个使用cifar-10图片数据集的实验，搭建卷积神经网络倒不难，但是那个cifar10_input文件着实让我费了一番心思。配合着官方文档也算看的七七八八，但是中间还是有一些不太明白，不明白的mark一下，这次记下一些已经明白的。研究cifar10_input.py文件的read操作，主要的就是下面的代码：if no

引言受限玻尔兹曼机RBM在深度学习领域一直有重要的应用，之前一直没有接触过RBM，觉得太复杂，公式太多，这几天在Google上找到些好的turtorial，可以在这里做一个总结。玻尔兹曼机BMBM背景Boltzmann machines（BM）是Markov Random Fields with pairwise interaction potentials. 这里的pot

引言前一篇简要的介绍了受限制玻尔兹曼机原理的文章，RBM的应用有很多，本文打算根据这篇博文的例子做一个使用RBM进行电影推荐的系统.数据来源数据来源：[Movielens movie dataset]，(http://grouplens.org/datasets/movielens/1m/) 鸣谢：F. Maxwell Harper and Joseph A. Konstan. 2015.The

TensorFlow candidate sampling

前几篇接触了关于神经网络的学习方法，总结起来的要点有以下几点：1，BP算法2，激励函数3，正则化与交叉验证等其他防止过拟合的方法 BP神经网络在之前的工作中取到了不错的效果，但是在Micheal Nilson的数的第五章，描述了之前的神经网络在增加多个隐含层之后训练效果会大大下降，也就是说，对于层数过多的网络训练效果不理想，如何训练深层的神经网络成了一个问题