机器学习的损失函数 loss function

最新推荐文章于 2025-03-26 10:13:18 发布

原创最新推荐文章于 2025-03-26 10:13:18 发布 · 777 阅读

0 ·

CC 4.0 BY-SA版权

机器学习同时被 2 个专栏收录

9 篇文章

订阅专栏

数学

4 篇文章

订阅专栏

本文介绍了机器学习中常用的损失函数，包括交叉熵、平方误差、指数误差、逻辑误差等，并探讨了正则化的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习的损失函数 loss function

@(deepLearning)

loss function:

作为优化的目标的函数，又称为代价函数(cost function)。
$L = \sum i = 0 n - 1 ℓ (y i, y i^)$ $L=\sum_{i=0}^{n-1}\ell(y_{i},\hat{y_{i}})$

1.常见的损失函数

1)交叉熵(cross entropy)：如在逻辑回归LR。
$ℓ(yi,yi^)=−yi⋅logyi^−(1−yi)⋅log(1−yi^),yi∈{0,1}ℓ(yi,yi^)=−yi⋅logyi^−(1−yi)⋅log(1−yi^),yi∈{0,1}$ $\ell(y_i,\hat{y_i})=-y_i \cdot log\hat{y_i}-(1-y_i) \cdot log(1-\hat{y_i}),y_i \in \{0,1\}$
2)平方误差(square loss)：常用于回归。
$ℓ (y i, y i^) = (y i - y i^) 2$ $\ell(y_i,\hat{y_i})=(y_i-\hat{y_i})^2$
3)指数误差(exponential loss)：常用于boosting算法。
$ℓ(yi,yi^)=e−yi⋅yi^,yi∈{−1,1}ℓ(yi,yi^)=e−yi⋅yi^,yi∈{−1,1}$ $\ell(y_i,\hat{y_i})=e^{-y_i \cdot \hat{y_i}},y_i \in \{-1,1\}$
4)逻辑误差(logistic loss)：
$ℓ (y i, y i^) = l o g (1 + e - y i \cdot y i^)$ $\ell(y_i,\hat{y_i})=log(1+e^{-y_i \cdot \hat{y_i}})$
5)正则项(regularization)：
$L = \sum i = 0 n - 1 ℓ (y i, y i^) + λ \cdot R (ω)$ $L=\sum_{i=0}^{n-1}\ell(y_i,\hat{y_i})+\lambda \cdot R(\omega)$

L1正则化
L2正则化