交叉熵和均方差损失函数的比较（Cross-Entropy vs. Squared Error）

将从线性回归，逻辑回归，多分类的逻辑回归（softmax）三个例子分析。我们定义，将b放到w中，，其中f为激活函数。

总结

1. 对SE而言，要得到一个线性的梯度，必须输出不经过激活函数才行。这样的情况只有线性回归，所以SE较适合做回归问题，而CE更适合做分类问题，在分类问题中，CE都能得到线性的梯度，能有效的防止梯度的消失；

2. SE作为分类问题的loss时，由于激活函数求导的影响，造成连续乘以小于1大于0的数（f(u)(1-f(u))）造成梯度的消失，同时也使得error曲面变的崎岖，更慢的到的局部最优值。