BP算法推导-softmax层+交叉熵(logloss)

摘要：

在之前的两篇文章中RNN训练与BP算法，BP算法心得体会都是在具体在讲bp算法在神经网络里面的推导。两篇文章都没有讲过和softmax相关的东西。而softmax作为分类任务里面重要的一层，所以打算本篇文章介绍一下softmax层。另外，一致沿用的损失函数都是均方误差，所以借这个机会也讲解下当损失函数是交叉熵时候的推导情况。

引言：

本文打算在RNN训练与BP算法文章的基础，将最后一层输出层改成softmax层，推导整个公式。
下面是前向传播的公式（来源于上面的文章，新来的读者建议新看下这篇文章）

$v_{im}$是输入层第$m$个输入与隐藏层中第$i$个神经元所连接的权重。
$u_{in}$是隐层自循环的权重（具体表现为上面结构图中那些紫色、绿色的线）
$w_{km}$是隐藏层中第m个神经元与输出层第k个神经元连接的权重。
网络中共有$N_{(i)}个输入单元$，$N_{(h)}个隐藏层$，$N_{(o)}个输出单元$

$net_{hi}^{t}$表示隐藏层第$i$个神经元在$t$时刻激活前的输入。
具体为：$net_{hi}^{t}=\sum_{m=1}^{N_{(i)}}(v_{im}x_m^{t})+\sum_{s=1}^{N_{(h)}}(u_{is}h_s^{t-1})$
经过激活后的输出为：$h_i^{t}=f(net_{hi}^{t})$

$net_{yk}^{t}$表示输出层第$k$个神经元在$t$时刻激活前的输入。
具体为：$net_{yk}^{t}=\sum_{m=1}^{N_{(h)}}(w_{km}h_m^{t})$
经过激活后的输出为：$o_k^{t}=g(net_{yk}^{t})$

这里，由于我们输出层是softmax所以只需要把输出层的激活函数$g(x)$设计成：$g(x_i)=\frac{e^{x_i}}{\sum_{k=1}^{all}{e^{x_k}}}$。这样我们就能够实现输出层进行softmax的操作。

具体来说：$o_k^{t}=\frac{e^{net_{yk}^{t}}}{\sum_{{k'}=1}^{N(o)}e^{net_{yk'}^t}}$

（大家可能发现了。希望网络输出softmax的结果只需要改输出层激活函数。那么推导公式中可能变化的也只有涉及到输出层激活函数部分的偏导数）

最后定义我们的损失函数——交叉熵：
$E_t=-\sum_{k=1}^{N(o)}z_{k}^{t}*ln(o_k^{t})$
E=∑