为什么使用交叉熵损失函数

•使用极大似然原理导出交叉熵损失函数减轻了为每个模型设计损失函数的负担，选择了模型p(y|x)就明确了损失函数logp(y|x)

•损失函数的梯度必须有足够大的预测性，这样才能很好的指导算法的学习。很多输出单元都会包含一个指数函数，当变量取绝对值非常大的负值时函数会变得饱和（函数变得很“平”），函数梯度变得很小，而负的对数似然能够抵消输出单元中的指数效果。（下面的推导过程说明了使用交叉熵损失函数可以抵消sigmoid单元在输入为绝对值很大的负值时出现的梯度很小的情况）