常见的损失函数，代价函数以及优化算法汇总

最新推荐文章于 2024-11-21 11:00:00 发布

蜗牛遥遥

最新推荐文章于 2024-11-21 11:00:00 发布

阅读量4.9k

点赞数 2

分类专栏：人工智能机器学习文章标签：损失函数 sgd adam 指数损失函数

本文链接：https://blog.youkuaiyun.com/qq_37960402/article/details/96140306

版权

本文详细介绍了机器学习和深度学习中的损失函数，包括0-1损失、平方损失、绝对值损失等，并讨论了代价函数、目标函数及其关系。此外，还讲解了优化算法，如SGD、Adam、NAG等，并对比了固定学习率与自适应学习率的优化策略。最后，提到了最小二乘法作为非迭代的优化方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在机器学习和深度学习中，我们通常只需要掌握三个步骤就可以完成训练了，拿起数据（特征），搭上模型（目标函数，损失函数，代价函数）,不断优化（优化函数-梯度下降，adam，动量-找到最优的W），就可以完成了

1. 损失函数、代价函数与目标函数
损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。
代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。
目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+正则化，也就是（代价函数+正则化项）。
损失函数：
……0-1损失函数
……平方损失函数
……绝对值损失函数
……对数损失函数
……指数损失函数
……铰链损失函数
代价函数：
……均方误差
……均方根误差
……平均绝对误差
……交叉熵代价函数

2. 损失函数
（1）0-1损失函数（0-1 loss function） -----------感知机
在这里插入图片描述
（2）平方损失函数（quadratic loss function）------------线性回归

（3）绝对值损失函数（absolute loss function）

（4）对数损失函数（logarithmic loss function）-----------逻辑回归

（5）指数损失函数（Exponential Loss Function）----------adaboost
在这里插入图片描述
（6）铰链损失函数（Hinge loss） ----------SVM
Hinge loss一般分类算法中的损失函数，尤其是SVM。其中 y=+

最低0.47元/天解锁文章