深度学习--神经网络基础(2)

损失函数

在深度学习中, 损失函数是用来衡量模型参数的质量的函数 , 衡量的方式是比较网络输出和真实输

出的差异：

分类

1.多分类损失函数

在多分类任务通常使用 softmax 将 logits 转换为概率的形式，所以多分类的交叉熵损失也叫做 softmax 损失 ，它的计算方法是：

其中:

1. y 是样本 x 属于某一个类别的真实概率

2. 而 f(x) 是样本属于某一类别的预测分数

3. S 是 softmax 激活函数 , 将属于某一类别的预测分数转换成概率

4. L 用来衡量真实值 y 和预测值 f(x) 之间差异性的损失结果

2.二分类任务损失交叉熵

在处理二分类任务时，我们不再使用softmax激活函数，而是使用sigmoid激活函数，那损失函数也相应的进行调整， 使用二分类的交叉熵损失函数：

其中:

1. y是样本x属于某一个类别的真实概率

2. 而y^是样本属于某一类别的预测概率

3. L用来衡量真实值y与预测值y^之间差异性的损失结果。

3.回归任务损失函数

MAE损失函数

Mean absolute loss(MAE)也被称为L1 Loss，是以绝对误差作为距离。损失函数公式:

曲线如下图所示：

特点是：

1. 由于L1 loss具有稀疏性，为了惩罚较大的值，因此常常将其作为 正则项添加到其他loss中作为约束。

2. L1 loss的最大问题是梯度在零点不平滑，导致会跳过极小值。

MSE损失函数

Mean Squared Loss/ Quadratic Loss(MSE loss) 也被称为L2 loss，或欧氏距离，它以误差的平方和的均值作为距离,损失函数公式:

曲线如下图所示：

特点是：

1. L2 loss也常常作为正则项。