Stanford UFLDL教程（一）--神经网络、BP算法、BP初始值设置和梯度检验

在看斯坦福大学的UFLDL（非监督特征学习和深度学习）教程时，发现了一个博客，在看教程的过程中不懂得问题，大部分在博客中得到了解答。转到自己帖子中方便以后重新查看。

01.神经网络
UFLDL：http://deeplearning.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C
博客：http://blog.youkuaiyun.com/bea_tree/article/details/51174511
这一节挺简单。

02.反向传导算法
UFLDL：http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95
博客：http://blog.youkuaiyun.com/bea_tree/article/details/51174776

主要问题：
（1）后向传播算法是基于梯度下降策略的，求梯度时用到了链式法则。
（2）BP算法中W和b的初始值设置问题，文中要求不能设为相同值，推荐设置为一个很小的、接 近零的随机值（比如说，使用正态分布生成的随机值）