【笔记】交叉熵softmax求导简单解释

在分类任务总利用交叉熵作为损失函数后对输出层的输入O求导后为预测值为y^-y，why?

由下图可知交叉熵和softmax的公式如下图所示，如何求出的下入右框中的求导式子。

【为什么上图中的交叉熵的式子与我们平常所见的不同】

由上图，一般交叉熵的标准形式为上图中橙色方框中的公式，在二元逻辑回归中，我们见到的损失函数为绿色框中的形式，而在多元分类任务中写成了蓝色框中的情况，与负对数似然类似。其实我们可以将绿色和蓝色框中的公式当成对橙色框中公式的两种解读。

【黄框】标准的交叉熵公式
【绿框】二分类情况下的变体
【蓝框】多分类下的变体

二分类任务情况下