读《一天搞懂深度学习》ppt的笔记

读《一天搞懂深度学习》ppt笔记

学习自http://www.cnblogs.com/liuyihai/p/8448977.html，推荐看这个链接。很全面很完整，我的笔记仅是记部分东西。

softmax

输出层：
一般情况下，输出层可以输出任何值：

在输出层前加Softmax Layer:

推荐的开发工具：

tips

不要总是将原因归到过拟合，下图中，56层的网络在训练集误差大，所以这个就是没训练好，而不是在测试集的过拟合。
20层的是过拟合。

对训练过程：

（1）选择合适的损失

（2）需要mini batch

也就是批梯度下降法。快而且好的方法。

每100个数据进行一次梯度下降
整个训练集数据拿来训练20轮
- 每轮整个数据集迭代结束后，对数据进行一次打乱，即shuffle

（3）选择合适的激励函数

可以解决梯度消失问题
很多都是用relu作为激励函数。

（4）恰当的学习率

Adagrad可以达到学习率由大变小：

（5）momentum

对测试数据：

早停：

权重消失

L1正则化其实就是这个

dropput

在训练集上：
在每一个mini batch 数据迭代更新完权重后，重新抽样dropout的神经元。这样，每个mini batch 训练的都是一个新结构的网络。网络的结构在重新抽样中被改变了。
在测试集上：
不能dropout
dropout和maxout在一起可以工作的更好

网络结构