Softmax回归中的损失函数

因为Softmax回归时逻辑回归的推广，所以Softmax回归的损失函数是逻辑回归损失函数的推广。
原文链接：逻辑回归中的损失函数

一、损失函数介绍：

• 与回归问题成本函数不同的是，Softmax回归模型（解决分类问题）的成本函数在获得损失J的时候不再用真实值y与预测值y^的差值计算损失，真实值y不再出现在公式中作为计算项，而是作为分段函数的选择项。
  
• 上述损失函数如何在不计算真实值与预测值的差值的情况下获得训练损失？ 解释如下：
  
  • 当真实值y=j时，损失函数应选择loss=-logaj，图像如上图所示，当预测值aj（即预测值等于真实值y=j的概率） 越大，即越靠近1损失L越小，反之概率越小，即越靠近0。损失越大。