- 博客(6)
- 收藏
- 关注
RSS订阅原创 pycaffe的小问题- -
Import caffe 出现如下问题： 」解决: export PYTHONPATH=$CAFFE_HOME/python >> ~/.bashrc source ~/.bashrc千万千万别写成: export PYTHONPATH=$CAFFE_HOME/python:$PYTHONPATH吐槽一下：千万别在百度搜解决方法了，简直了。。。。还是直接导c
2016-12-18 21:38:19
270
原创 深度网络的学习问题
这这是一个4层网络随着BP算法每层激励输出的情况，对于这张图可以理解的信息如下：1 红线在前一百次的训练结果基本一致，可能的情况是第一层的权值变化太小，也就是说后向传播的误差信息很难反馈到这一层;2 绿线和蓝线的变化幅度反映了后向误差信息随着层数的增加，其变化越小;3 对于黑线的情况最奇怪： (1)第一方差基本为0也就是说输入层的差异信息在抵达第4层时候基本就没有了
2016-11-11 15:39:38
308
原创 深度网络pre-train对于深度网络的意义
2016.10.111 pre-train 带来更好的优化还是更好的泛化？pre-train是一个寻网络权值初值的过程，将pre-train的结果作为BP算法的权值的初值，能够解决深度网络在非凸目标函数上陷入局部最优的问题。从这个角度理解更象是带来更好的优化能力。在带有pre-train的深度网络的泛化表现上不仅仅是训练误差很小，同时泛化误差也很小，下图可以看出带有pre-train的
2016-11-10 15:49:46
4890
原创 LDA之我见
本文纯粹出于个人理解，公式纯手打难免有误，不对的地方请指出。 LDA认为一个语料库中的某个文档w又一系列的主题z生成的，而这一系列的主题是潜在的不可见的，其实就是个混合模型： 在贝叶斯的理论框架之下，将z的参数也当作变量： 那么概率模型雏形就出来了，LDA是一个典型“词带”的模型，即对文档词w作条件独立假设： 其中
2016-09-23 15:30:52
324
原创 玻尔兹曼机(1)
本文是关于玻尔兹曼机的参数训练过程的介绍。因此基本知识请参照相关论文和博客介绍。 一个典型的玻尔兹曼机，可以表达成一个能量函数的指数形式，能量函数的具体表达式见网上其它的博客说明。这里简单记为：E(h,v)。v表示可视节点，h表示隐单元变量。那么一个玻尔兹曼机的概率表达式如下： 对于随机梯度下降，给定一个观测样本v’，那么似然函数为：
2016-09-22 21:47:11
578
原创 变分推断
在机器学习中经常会遇到某个分布的期望的情况，简单的情况还好，但是一旦遇到难以计算或者估计的复杂分布，那么问题将变得难以处理。变分推断在机器学习上就是用来解决找到某种简单形式的分布来近似估计某个复杂分布的问题。
2016-09-13 14:30:44
2122
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人