loss function总结

最新推荐文章于 2025-08-02 10:06:07 发布

原创最新推荐文章于 2025-08-02 10:06:07 发布 · 302 阅读

0 ·

CC 4.0 BY-SA版权

深度学习_basic 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了机器学习中常用的损失函数，包括合页损失函数(Hinge Loss)、L1与L2正则化以及Softmax损失函数。通过数学公式解释了这些函数如何帮助模型进行优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hinge loss:

Given an example $(x_{i}, y_{i})$ , where the $x_{i}$ is the image and where $y_{i}$ is the integer label.
and using the shorthand for the scores vector: $s=f(x_{i},W）$
the SVM loss has the form:
$L_i= \sum\ _{j != y_i} max(0,S_j-S_{y_i}+1)$ ,其中 $S_{y_i}$ 代表正确分类的预测值
也就是说损失函数的定义，是想要正确分类的分数远比其他类别的分数高。

正则化:

L1 正则化： $J(\theta)=[y_\theta(x)-y]^2+[|\theta_1|+|\theta_2|+...]$
L2 正则化： $J(\theta)=[y_\theta(x)-y]^2+[\theta_1^2+\theta_2^2+...]$
西瓜书252-253页有介绍，L1范数有利于得到稀疏解，求到的权值会有更少的非零分量。