反向传播及softmax算法推导

自己重新整理了一下反向传播算法及softmax算法的推导。

（1）针对通常的反向传播算法，Loss采用差值的绝对值平方和，非线性函数采用sigmoid函数

（2）softmax算法推导是指，采用softmax对输出数据处理，并采用交叉熵作为Loss函数。

两个算法的推导过程都是通过从单一元素出发，扩展到向量的形式。

反向传播算法更详细的推导可参考博客：https://zhuanlan.zhihu.com/p/25416673

两个算法的推导如下两个图所示。