损失函数、梯度下降法与反向传播算法

一、损失函数

损失函数（loss function）也叫代价函数（cost function），用来度量我们的模型得到的的预测值和数据真实值之间的差距，也是一个用来衡量我们训练出来的模型泛化能力好坏的重要指标。
损失函数是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程（损失函数值小了，对应预测的结果和真实结果的值就越接近）。

1、二次代价函数

均方误差（MSE）度量的是预测值和实际观测值间差的平方的均值。它只考虑误差的平均大小，不考虑其方向。但由于经过平方，与真实值偏离较多的预测值会比偏离较少的预测值受到更为严重的惩罚。
均方差函数常用于线性回归(linear regression)，即函数拟合(function fitting)。

2、交叉熵代价函数

这是分类问题中最常见的设置。随着预测概率偏离实际标签，交叉熵损失会逐渐增加。
交叉熵（cross-entropy）代价函数来源于信息论中熵的概念，是目前神经网络分类问题中（比如图像分类）常用的代价函数。

（1）二分类情况

（2）多分类

在多分类问题中，损失函数也是交叉熵损失函数，对于样本（x,y）来讲，y是真实的标签，