Softmax损失函数

上一篇博客讨论了SVM的损失函数，本篇博客主要来讨论softmax的损失函数以及两者之间的差别。

首先，softmax损失函数用数学公式可以表示为如下：
$L_i=-\log(\frac{e^{f_{y_i}}}{\sum_{j}e^{f_j}})$
其中，$f_{y_i}$ 表示经过线性矩阵后真实分类的值，$\sum_{j}e^{f_j}$ 表示某个样本所有分类值的和。

接下来，讨论3个问题：

1.当最初w趋近于0的时候，Loss为多少？
为类别数的倒数再取对数。可以以此来校验loss function是否书写正确

2.Loss的取值范围？
同SVM的loss一样，$[0, +\infty]$

3.与SVM的loss function 有什么不同？
SVM的loss function 计算中，当损失类间距大于$\Delta$ 时，无论差别多大都没有影响了，也就是说，只有在分类边界附近的数据扰动才会有影响，才会对权重w有作用。
softmax中，无论类别间距差别多大，扰动都会对损失值有影响，只不过是影响大或者小的区别。