CS231n Neural Networks Part 3: Learning and Evaluation sanity checks Tips/Tricks

1.loss without regularization
首先一个样本输入网络，最开始基本上概率或者激活是平均分的，我们可以预测loss，那么就根据loss来判断是否网络在不加上正则化的时候是正常的

2.loss with regularization
增加regularization，我们也可以根据网络的参数的多少和均值等估计出来正则化项的大小。

3.subset of data
使用一个小数据集合来进行网络的测试。当然，测试成功也不一定意味着最终是正确的，可能小数据集合比如说输入错了啊，什么的，于是网络学了一个奇奇怪怪的东西也是可能的，不过网络的forward和bp应该是差不多的。