UFLDL-稀疏字编码器

最新推荐文章于 2017-03-24 20:07:57 发布

转载最新推荐文章于 2017-03-24 20:07:57 发布 · 488 阅读

25 篇文章

订阅专栏

<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">Andrew Ng的deep learning教程的中文教程，大牛小牛的奉献的热情！</span>

http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

神经网络分监督和无监督（自编码神经网络）

（1）神经网络：其中Wij的指输入层xj到隐含层xi的传递系数；X={x1;x2;...xi};

激活函数有两种，
sigmoid $\frac{1}{{1 + {e^{ - Z}}}}$ ，y取值为0~1;tanh的取值为-1~+1；

适用：根据特征预测输出，监督和无监督分类，（比如，在医疗诊断应用中，患者的体征指标就可以作为向量的输入值，而不同的输出值 $\textstyle y_i$ 可以表示不同的疾病存在与否。）

（2）反向传导算法

Q1：规则化项（权重衰减项）为什么减小权重的幅度，可以防止过度拟合？

J(W,b)就是cost function，用于分类和回归，分类是利用输出y的label，拟合x，y就是回归的过程。

正向使用梯度下降法迭代更新W和b

反向传播算法来更新参数

这样就可以一直重复梯度下降法的迭代步骤来减少代价函数J（W,b）的值，就可以求解神经网络

PS：关于第四部分，计算最终需要的偏导数值，看不懂这个公式

（3）梯度检验与高级优化

索引的缺位错误，忘加入偏置项等导致求导结果不对，这一节介绍了检验的方法,提高代码自信心好重要

利用求导定义公式：

${g_i}(\theta ) \approx \frac{{J({\theta ^{i + }}) - J({\theta ^{i - }})}}{{2*EPSILON}}$

（4）自编码算法与稀疏性

当隐含层比输入层神经元减少时，学习与PCA结果相似的降维表示可以理解

而当隐含层比输入层神经元增大时，增加限制条件进行稀疏性表示，只要将反向传播中的参数换成有惩罚因子的就可以了。

$\delta _i^{(2)} = ((\sum\limits_{j = 1}^{{s_2}} {W_{ji}^{(2)}\delta _j^{(3)}} ) + \beta ( - \frac{\rho }{{{\rho _i}}} + \frac{{1 - \rho }}{{1 - {\rho _i}}})){f^'}(z_i^{(2)})$
（5）可视化自编码器训练结果

要显出出来训练的自编码

隐含层每个神经元都学会在输入图像的不同位置和方向进行边缘检测

（6）exsice