DevAejanlng的博客

原创 Softmax Cross Entropy 梯度推导

Softmax Cross Entropy 梯度推导Softmax的梯度Softmax交叉熵的梯度 Softmax的梯度 Softmax定义： pi=eai∑k=1Neak,i∈N p_i = \frac{e^{a_i}}{\sum_{k=1}^Ne^{a_k}}, \quad i\in N pi​=∑k=1N​eak​eai​​,i∈N 数值稳定的Softmax： eai∑k=1Neak=Ce...