xueli1991的博客

一、自编码器(Autoencoders)的原理自编码器是典型的无监督学习算法，其结构如下所示：假设输入为x∈[0,1]d，自编码器首先将其映射到一个隐含层，利用隐含层对其进行表示为y∈[0,1]d′，这个过程称为编码（Encoder），如：y=s(Wx+b)其中，s为一个非线性映射，如sigmoid函数。y称为隐含的变量，该隐含的变量又会通过

DeepLearning tutorial（3）MLP多层感知机原理简介+代码详解@author：wepon@blog：http://blog.youkuaiyun.com/u012162613/article/details/43221829本文介绍多层感知机算法，特别是详细解读其代码实现，基于python theano，代码来自：Multilayer Perce

学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则会导致代价函数振荡，如下图所示。就下图来说，一个比较好的策略是先将学习速率设置为0.25，然后在训练到第20个Epoch时，学习速率改为0

最近研究deep learning，于是装个Theano库，结果今天折腾了好半天折腾好久，终于发现一种比较简单的安装方法。http://python-distribute.org/distribute_setup.pyhttps://github.com/pypa/pip/raw/master/contrib/get-pip.py分别打开上面两个网址，里面其实是distribute和p