深度学习中的损失函数整理与总结
介绍
损失函数在机器学习或深度学习中非常重要,假设您正在处理任何问题,并且您已经在数据集上训练了一个机器学习模型,并准备将其放在您的客户面前,但是你怎么能确定这个模型会给出最佳结果呢?是否有指标或技术可以帮助您快速评估数据集上的模型?
是的,这里损失函数在机器学习或深度学习中就发挥了重要的作用。
在本文中,我整理并总结了不同类型的损失函数。
什么是损失函数?
维基百科说,在数学优化和决策理论中,损失或成本函数(有时也称为误差函数) 是将事件或一个或多个变量的值映射到一个实数上的函数,该实数直观地表示了本事件。
简单来说,损失函数是一种评估算法对数据集建模效果的方法,它是机器学习算法参数的数学函数。
为什么损失函数很重要?
著名作家彼得·德鲁克 (Peter Druker) 说:你无法改进你无法衡量的东西。这就是为什么要使用损失函数来评估您的算法对数据集建模的效果。如果损失函数的值较低,那么它是一个好的模型,否则,我们必须改变模型的参数并最小化损失。
损失函数与成本函数
大多数人混淆了损失函数和成本函数,让我们了解什么是“损失函数”和“成本函数”。成本函数和损失函数是同义词,可以互换使用,但它们是不同的。
损失函数:
损失函数/误差函数用于单个训练示例/输入。
成本函数:
成本函数是整个训练数据集的平均损失。
深度学习中的损失函数
-
回归
MSE(均方误差)
MAE(平均绝对误差)
哈伯损失 -
分类
二元交叉熵
分类交叉熵 -
自动编码器
KL 散度 -
GAN