【深度学习中的损失函数整理与总结】

介绍

损失函数在机器学习或深度学习中非常重要，假设您正在处理任何问题，并且您已经在数据集上训练了一个机器学习模型，并准备将其放在您的客户面前，但是你怎么能确定这个模型会给出最佳结果呢？是否有指标或技术可以帮助您快速评估数据集上的模型？

是的，这里损失函数在机器学习或深度学习中就发挥了重要的作用。

在本文中，我整理并总结了不同类型的损失函数。

什么是损失函数？

维基百科说，在数学优化和决策理论中，损失或成本函数（有时也称为误差函数） 是将事件或一个或多个变量的值映射到一个实数上的函数，该实数直观地表示了本事件。
简单来说，损失函数是一种评估算法对数据集建模效果的方法，它是机器学习算法参数的数学函数。

为什么损失函数很重要？

著名作家彼得·德鲁克 (Peter Druker) 说：你无法改进你无法衡量的东西。这就是为什么要使用损失函数来评估您的算法对数据集建模的效果。如果损失函数的值较低，那么它是一个好的模型，否则，我们必须改变模型的参数并最小化损失。

损失函数与成本函数

大多数人混淆了损失函数和成本函数，让我们了解什么是“损失函数”和“成本函数”。成本函数和损失函数是同义词，可以互换使用，但它们是不同的。

损失函数：

损失函数/误差函数用于单个训练示例/输入。

成本函数：

成本函数是整个训练数据集的平均损失。

深度学习中的损失函数

1. 回归
   MSE（均方误差）
   MAE（平均绝对误差）
   哈伯损失

2. 分类
   二元交叉熵
   分类交叉熵

3. 自动编码器
   KL 散度

4. GAN