此笔记来源于李宏毅老师的机器学习视频,以下属于自己的理解以及老师上课的内容,由于公式过多,不便于直接打字,故用手写笔记替代。
Github的链接(pdf):https://github.com/Bessie-Lee/Deep-Learning-Recodes-LiHongyi
类神经网络训练不起来有四个原因,分别是:
- local minima与saddle point
- batch与momentum(批次与动量)
- learning rate
- loss
下面将由手写笔记配上李宏毅老师的ppt进行逐一解释
reason1:critical point
reason2:batch and momentum
reason3:learning rate
reason4:loss