softmax cross_entropy

softmax函数作用

交叉熵代价函数的优点
一般的代价函数比如二次代价函数，对参数w或者b求偏导之后，结果和激活函数的导数成正比，也就是说当激活函数导数很小的时候(随机初始化导致激活函数输入小，从而对应导数大)，学习就会变得很慢。
而如果使用交叉熵的代价函数，最后激活函数的导数项会抵消，只剩下x和激活函数本身，w的梯度只和输入值与实际值之间的差值成正比，也就是说，误差越大，学习速率就会越快。