Softmax函数与交叉熵

Softmax函数

背景与定义

在Logistic regression二分类问题中，我们可以使用sigmoid函数将输入$Wx + b$映射到$(0, 1)$区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值。

这里假设在进入softmax函数之前，已经有模型输出$C$值，其中$C$是要预测的类别数，模型可以是全连接网络的输出$a$，其输出个数为$C$，即输出为$a_{1}, a_{2}, ..., a_{C}$。

所以对每个样本，它属于类别$i$的概率为：

$$y_{i} = \frac{e^{a_i}}{\sum_{k=1}^{C}e^{a_k}} \ \ \ \forall i \in 1...C$$

通过上式可以保证$\sum_{i=1}^{C}y_i = 1$，即属于各个类别的概率和为1。

导数

对softmax函数进行求导，即求

$$\frac{\partial{y_{i}}}{\partial{a_{j}}}$$
第 $i$项的输出对第 $j$项输入的偏导。
代入 softmax函数表达式，可以得到：
$$\frac{\partial{y_{i}}}{\partial{a_{j}}} = \frac{\partial{ \frac{e^{a_i}}{\sum_{k=1}^{C}e^{a_k}} }}{\partial{a_{j}}}$$

用我们高中就知道的求导规则：对于

$$f(x) = \frac{g(x)}{h(x)}$$
它的导数为
$$f'(x) = \frac{g'(x)h(x) - g(x)h'(x)}{[h(x)]^2}$$
所以在我们这个例子中，
$$g(x) = e^{a_i} \\ h(x) = \sum_{k=1}^{C}e^{a_k}$$
上面两个式子只是代表直接进行替换，而非真的等式。

$e^{a_i}$（即$g(x)$）对$a_j$进行求导，要分情况讨论：
1. 如果$i = j$，则求导结果为$e^{a_i}$
2. 如果$i \ne j$，则求导结果为$0$

再来看$\sum_{k=1}^{C}e^{a_k}$对$a_j$求导，结果为 e