Lesson 2 what to do if your network fails to train

听课（李宏毅老师的）笔记，方便梳理框架，以作复习之用。本节课主要讲了遇到模型训练结果不好的时候该怎么快速判断哪里出了问题，以及部分的应对方法

1. General Guidance

2. Model bias

就是你模型太简单了

3. Optimization

在训练集上效果就不好，除了是本身模型有一定的偏差，如太过简单等，还有可能是优化问题 ，比如学习率、梯度下降的方法、起始点的选择等

4. 怎么判断是Model bias还是Opimization导致的？

首先要明确，不是所有的测试数据集上的结果不好都是过拟合导致的，我们还需要看训练集上的结果，很多人的误区就是只看测试集的结果，忽略测试集的结果，将不好的结果简单归因于过拟合。

判断的方法如下图所示：

• 先从浅层网络开始生成结果
• 如果更深层的网络在训练集上没有表现得更好，那么就是优化问题

5. Overfitting

先看训练集上的结果（损失小），再看测试集上的结果（损失大），正式确诊为Overfitting

6. Mismatch

就是说训练集和测试集的数据大不相同，懂了吧