BP神经网络——从二次代价函数（Quadratic cost）到交叉熵（cross-entropy cost）代价函数

                       

通过下文的阐述我们可以获得以下信息：

1. 反向传播（back propagation）算法是一个计算框架（或者计算流程）

   既然是一个计算框架，便与代价函数的具体形式（无论是二次代价还是交叉熵代价函数，只要能将预测的误差映射为一个标量，当然这一映射要满足特定的物理意义）无关。正因为如此，我们可将任何满足特定条件的代价函数embedded反向传播的计算过程。

2. 不同代价函数在计算上的不同

   不同代价函数的不同就在于step 2，计算单样本的预测误差对最后一层各神经元的输入（zz，进一步可将上式化简为：