【台大李宏毅ML课程】Lecture 6-11 Deep Learning笔记

李宏毅老师ML课程的Lecture 6-11都是在讲deep learning，所以合在一起总结好了。
主要内容我用xmind大致总结了一下。

如有错误，请务必指正谢谢！！
用图来源于课程以及网上的图~

1.Deep learning发展史
略（= =||）

2.Mini-batch Gradient Descent
每次（one epoch）选取一部分数据进行梯度下降，从而参数更新；而不是每次都min total loss；如果batch-size=1，相当于随机梯度下降；重复多次，每次都要重新对数据进行shuffle，即每个epoch的batch中的数据应该是不一样的。（keras默认）

keras中这么使用：

model.fit(x_train,y_train,batch_size=100,nb_epoch=20)

以上每个batch有100个数据，重复20次~
速度比较：
显然，batch大时间更短~~

为什么会这样呢？解释如下图：

batch越大速度越快，但是可能会得到坏一点的训练结果。

3.DNN的一些Tips
（1）Don’t always blame Overfitting
随着模型复杂度增加，如果training的结果变差：
如果testing的结果也随着模型复杂度增加而变差，那就不是过拟合，而是testing的时候模型没有训练好；尝试更换激活函数或者dropout看能否解决~反之才是过拟合~~

（2）DNN并不是越deep越好
这个显而易见了就不多解释了~~

（3）Sigmoid激活函数会带来Vanishing Gradient Problem（梯度弥散）问题
原因
首先解NN是用的backpropogation来更新参数，其实包含sigmoid的导数，图像长这样：

前一层的参数更新是依赖于后一层，它们的关系是sigmoid的导数，所以哪怕最后一层有一个很大的参数更新，乘上导数会越来越小，到第一层时参数的更新会很小很小，几乎没变~

可参考这篇文章：https://www.cnblogs.com/yangmang/p/7477802.html
改进：采用ReLu函数就不会出现上面的问题，因为是线性关系：

如果参数需要更新，则相当于做线性变换；不需要更新就是0；整体上看就变成了一个thinner的网络：

ReLu的变式：
Leaky ReLu
Paramatric ReLu

Maxout（ReLu相当于Maxout一种特例）

（4）Adaptive Learning Rate几种不同的下降方法
之前介绍的是Adagrad方法：

RMSProp方法：

Momentum方法：
在那些局部极小值点的时候，会像球一样，由于惯性，继续往前走，这样就可以越过局部极小值点（但这只是希望这样做）

Adam方法：RMSProp+Monmentum

（5）Early Stopping
大概意思应该就是在训练的时候选择合适的epoch参数，使得train loss和validate loss都比较小~

（6）Regularization
最终的找到的预测函数总是希望在min loss func还能越平滑拍越好，于是参数wi总是希望越接近于0越好，于是对参数进行惩罚（正则化），比较了L1和L2正则化：
L2能得到平滑的wi，L1能得到稀疏的wi

（7）Dropout
在train的时候只训练部分neuron，而在test的时候会用到所有的neuron。可以这么理解，因为train的时候，被选中的neuron（人）认为队友都不干活（dropout），只能靠自己，于是就会更加努力去做好。所有大家都会努力，于是最后合在一起的时候就会很强。有种ensemble的感觉。
但是，如果dropoutrate是p%,最后合在一起的weight应该乘上1-p%，解释如下: