softmax回归梯度计算及其与logistic回归关系

在softmax回归中，假设我们的训练集由m个已标记样本组成：\[\{ ({x^{(1)}},{y^{(1)}}),...,({x^{(m)}},{y^{(m)}})\} \]且激活函数为softmax函数：\[p({y^{(i)}} = j|{x^{(i)}};\theta ) = \frac{ { {e^{ - {\theta _j}^T{x^{(i)}}}}}}{ {\sum\limits_{l = 1}^k { {e^{ - {\theta _l}^T{x^{(i)}}}}} }}\]损失函数为：\[J(\theta ) =  - \frac{1}{m}\sum\limits_{i,j = 1}^m {[I({y^{(i)}} = j)logp({y^{(i)}} = j|{x^{(i)}};\theta )]} \]其中，\[{I({y^{(i)}} = j)}\]为示性函数

 这里，损失函数对参数的梯度的第t个分量应该分为两种情况考虑(因为待求的分量t可能与softmax函数分子中的(第j个)参数一致，也可能不一致):

t = j 时:\[\begin{gathered}
  {\nabla _{ {\theta _t}}}J(\theta ) &= & - \frac{1}{m}\sum\limits_{i = 1}^m {[\frac{1}{ {p({y^{(i)}} = j|{x^{(i)}};\theta )}} \cdot } p({y^{(i)}} = j|{x^{(i)}};\theta ) \cdot (1 - p({y^{(i)}} = j|{x^{(i)}};\theta )) \cdot {x^{(i)}}] \\
   &=&  - \frac{1}{m}\sum