Softmax的求导

按定义(一般资料中的定义)，softmax 的似然函数为：

$\prod\limits_i\prod\limits_kP_k(x_i)^{I(y^{(i)}=k)}$

另一种等价的表达是：

$\prod\limits_i{\frac{\prod\limits_k{e^{\theta_k^TX_i}}^{I(y^{(i)}=k)}}{\prod\limits_l^Ke^{\theta_j^Tx_i}}}$

另对数似然函数为代价函数：

$J(\theta) =\frac-{1}{N}\prod\limits_i\prod\limits_k(I(y^{(i)}=k)ln)$