[ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif

搭建的网络太深导致低层的梯度太小，经大牛点拨后才知道batch normalization就是处理该问题才提出的，于是后知后觉知道这篇文章原来非常有用，深深觉得惭愧，觉得自己太搓了．看来修炼之路还很长，要耐心坚持，点点滴滴积累．
文中出现的机器学习的术语介绍：
白化：白化的目的是去除（降低）数据的冗余信息，白化处理后细腻的数据满足两个性质（１）特征之间相关性较低（２）所有特征具有相同的方差．
http://blog.youkuaiyun.com/hjimce/article/details/50864602
http://blog.youkuaiyun.com/whiteinblue/article/details/36171233
协方差和相关系数：
https://www.zhihu.com/question/20852004

中午饭后更