softmax代价函数的导数计算

对于softmax的理解请参考Ufldl教程，本文仅对代价函数求导部分进行推导

---

softmax regression 代价函数：

$$J(\theta)=-\frac{1}{m}\left[\sum_{i=1}^m\sum_{j=1}^k1\{y^\mathit{(i)}=j\}log\frac{e^\mathit{\theta_j^Tx^\mathit{(i)}}}{\sum_{l=1}^ke^\mathit{\theta_j^Tx^\mathit{(i)}}}\right]$$
导数计算：
首先利用 $log \frac{a}{b} = log(a) - log(b)$将log函数内部展开：
$$1\{y_i=j\} log\frac{e^{\theta^T_j x_i}}{\sum_{l=1}^{k} e^{\theta^T_l x_i}} = 1\{y_i=j\} \left[ log(e^{\theta^T_j x_i}) - log(\sum_{l=1}^{k} e^{\theta^T_l x_i}) \right]$$
接着对 $\theta_j$求导得：
$$\begin{aligned} & 1\{y_i=j\} \left[x_i - \frac{e^{\theta^T_j x_i}}{\sum_{l=1}^{k} e^{\theta^T_l x_i}} x_i\right] \\ & = x_i \left(1\{y_i=j\} - \frac{e^{\theta^T_j x_i}}{\sum_{l=1}^{k} e^{\theta^T_l x_i}}\right) \\ & = x_i (1\{y_i=j\} - p(y_i=j | x_i, \theta) \end{aligned}$$
上式中，将 $log$看成 $ln$，另外，每一次的求导其实只是针对 $\theta$中的某一项 $j$，所以其他的$\theta$的非 $j$项都为常数，所以求导以后都为$0$。
这样就得到了梯度函数：
$$\frac{\partial J}{\partial \theta_j} = -\frac{1}{n} \sum_{i=1}^{n} [x_i (1\{y_i=j\} - p(y_i=j | x_i, \theta)]$$

原文出处：http://zjjconan.github.io/articles/2015/04/Softmax-Regression-Matlab/