4-1几种常见的代价函数

（一）二次代价函数：

从上述参数更新公式来看，二次代价函数的使用是有弊端的（受激活函数的导数影响较大），举例子说明：

 

（二）交叉熵代价函数

基于二次代价函数的不足，提出交叉熵代价函数（cross-entropy）：

 

 

（三）对数似然代价函数

关于对数似然函数和神经网络最后一层使用softmax的情况，可以参考：https://blog.youkuaiyun.com/u014313009/article/details/51045303