【人工智能】损失函数

目录

一、什么是损失函数？

二、为什么需要损失函数？

三、损失函数的分类

1.分类损失

1.1 Categorical Cross Entropy Loss

1.2 Binary Cross-Entropy

1.3 KL-divergence Loss

2.回归损失

2.1 MSE Loss

2.2 MAE Loss

2.3 Pseudo-Huber Loss

2.4 对比

---

一、什么是损失函数？

简单的理解就是每一个样本经过模型后会得到一个预测值，然后得到的预测值和真实值的差值就称为损失值。如果预测值与实际结果偏离较远，损失函数就会得到一个非常大的值；相反，则损失值越小。我们在学习中可以知道有很多种不同种类的损失函数，这些函数的本质上就是计算预测值和真实值的差距的一类型函数，然后经过库（如pytorch，tensorflow等）的封装形成了有具体名字的函数。

二、为什么需要损失函数？

我们在上文已经交代过，损失函数是用来计算预测值和真实值的一类函数，而在机器学习中，我们想让预测值无限接近于真实值，所以需要将差值降到最低（在这个过程中就需要引入损失函数）。而在此过程中损失函数的选择是十分关键的，在具体的项目中，有些损失函数计算的差值梯度下降的快，而有些下降的慢，所以选择合适的损失函数也是十分关键的。

三、损失函数的分类

损失函数经常被分为两大类：分类损失和回归损失。

1.分类损失

1.1 Categorical Cross Entropy Loss

CCE损失函数的定义如下：

 

优点：

• 严重惩罚错误的预测
• 可以很好地解决多类问题

接着让我们创建一个简单的多类预测模型来对猫、汽车和犀牛进行分类，看看它在实践中是如何工作的。