小刀的专栏

1、深度学习实质（个人理解） 深度学习，是对应于原有的浅层神经网络（如BP、RBF）的概念。是具有深隐层的网络结构及相应结构的训练方法（如SAE、DBN、CNN）。换言之，深度学习的本质是多层神经网络的一种区别于梯度下降方法的参数搜索方法，这种方法能在可接受的时间范围内构建深层的神经网络。 2、深度学习的工具 1）MATLAB（可研究学习使用，能方便的与其他分析方法结合以验证模型。实

1、初始化网络结构及w参数 2、nnff前向传播计算a: 训练集初始化a{1}; 循环计算a{i}=f(a{i-1},w,…)。 3、nnbp误差反向传播计算d 计算e=a{n}-y，初始化d{n}=e; 循环计算d{i}=f(d{i+1},a{i},…)。 循环计算dW{i} 4、更新w dW=dW*学习率+ 随机动量 w =w – dW

DBN深信度网络 1、以RBM（限制玻尔兹曼机）训练第1~n-1层的网络权重。 2、在第n层以线性感知机，随机初始化权重。并与之前隐层一起，转变为已训练起始参数的BP神经网络。 3、运用BP算法调整整个网络权重。

SAE稀疏编码机 1、（非监督学习）以input-input方式重复利用BP算法获得稀疏编码机的权重w{i}。 2、将训练的各层稀疏编码机权重，赋给新的BP算法，作为算法近似最优权重。并随机初始化第n层的感知器权重。 3、（监督学习）运用BP算法，以input-target方式重复优化新BP算法的权重w。

CNN卷积神经网络 1、初始化卷积网络结构 cnn.layers = { %input layer struct('type', 'i') %卷积层，卷积6个特征输出，卷积核尺寸为，卷积核为{1,6}。 struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %子抽样层，子抽样比例，此为1/2。 struct('t