损失函数汇总（持续更新）

种花生的图图

已于 2025-01-12 12:51:25 修改

阅读量235

点赞数 1

分类专栏：深度学习文章标签：人工智能机器学习算法

于 2025-01-02 17:38:55 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_56848903/article/details/144889782

版权

深度学习专栏收录该内容

4 篇文章

订阅专栏

一、交叉熵损失

交叉熵损失（Cross-Entropy Loss）主要用于分类任务。它衡量了预测的类别分布与真实类别分布之间的差异。交叉熵损失越小，说明模型的预测分布越接近真实分布。

1、公式

（1）对于单个样本

交叉熵损失的公式为：

$Loss=-\sum_{i=1}^{C}y_{i}log(\hat{y_{i}})$

$C$ ：类别的总数。

$y_{i}$ : 真实标签的分布，是 one-hot 编码的（即只有一个类别为 1，其余为 0）。

$\hat{y_{i}}$ : 模型预测的概率分布（通常通过 softmax 归一化后的输出）。

（2）对于一个批量的样本

交叉熵损失的平均值是：

$Loss=-\frac{1}{N}\sum_{j=1}^{N}\sum_{i=1}^{C}y_{j,i}log(\hat{y}_{j,i})$

$N$ : 批量中的样本数量。

$y_{j,i}$ : 第 $j$ 个样本真实的 one-hot 标签。

$\hat{y}_{j,i}$ : 第 $j$ 个样本预测的概率分布。

2、工作原理

（1）预测概率

模型通过 softmax 层输出每个类别的概率分布，满足：

$\sum_{i=1}^{C}\hat{y}_{i}=1\quad and \quad 0 \leq \hat{y}_i \leq 1$

（2）真实分布

真实类别使用 one-hot 编码，比如：

如果真实类别是第 2 类（索引为 1，假设从 0 开始），则 $y=[0,1,0,0]$ 。

（3）计算损失

交叉熵损失将真实标签与预测概率进行比较：

仅使用真实类别 $y_{i}=1$ 的项计算损失。

对于上述 one-hot 编码和预测概率 $\hat{y}=[0.1,0.7,0.1,0.1]$ ，交叉熵损失为：

$Loss=-log(\hat{y}_{2})=-log(0.7)$

3、使用场景

（1）二分类任务

二分类使用的是 二元交叉熵损失（Binary Cross-Entropy Loss）。公式：

$Loss = - \frac{1}{N} \sum_{j=1}^{N} \left( y_j \log(\hat{y}_j) + (1-y_j) \log(1-\hat{y}_j) \right)$

（2）多分类任务

使用标准交叉熵损失，并结合 softmax。

（3）多标签任务

每个标签独立计算二元交叉熵损失，并求和。

二、结构相似性指数损失（SSIM）

SSIM 是一种用于衡量两张图像结构相似性的指标。它主要评估图像的亮度、对比度和结构信息之间的差异，是一种常用于图像质量评估的标准。

1、公式

（1）SSIM主要组成部分

亮度（Luminance）：衡量两张图像在亮度上的差异。
对比度（Contrast）：衡量两张图像在对比度上的差异。
结构（Structure）：衡量两张图像在结构上的相似性。

（2）计算公式

给定两张图像 $x$ 和 $y$ ，它们的局部结构相似性可以通过以下三个成分来计算：

$SSIM(x, y) = \frac{(2 \mu_x \mu_y + C_1) (2 \sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1) (\sigma_x^2 + \sigma_y^2 + C_2)}$

$\mu _{x}$ 和 $\mu _{y}$ ：分别是图像 $x$ 和 $y$ 的均值（亮度）；

$\sigma_x^2$ 和 $\sigma_y^2$ ：分别是图像 $x$ 和 $y$ 的方差（对比度）；

$\sigma _{xy}$ ：是图像 $x$ 和 $y$ 的协方差（结构）；

$C_1$ 和 $C_2$ 是为了避免分母为零的小常数，通常设定为: $C_{1}=(K_{1} \cdot L)^2$ ， $C_{2}=(K_{2} \cdot L)^2$ ；

其中， $K_1$ 和 $K_2$ 是常数， $L$ 是图像的动态范围（例如，8位图像的 L=255）。

2、计算步骤

（1）计算均值（亮度）

对于每个像素块，计算图像 $x$ 和 $y$ 的局部均值：

$\mu_x = \frac{1}{N} \sum_{i=1}^{N} x_i$

$\mu_y = \frac{1}{N} \sum_{i=1}^{N} y_i$

其中 $N$ 是像素块中的像素数量。

（2）计算方差（对比度）

对于每个像素块，计算图像 $x$ 和 $y$ 的局部方差：

$\sigma_x^2 = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu_x)^2$

$\sigma_y^2 = \frac{1}{N} \sum_{i=1}^{N} (y_i - \mu_y)^2$

（3）计算协方差（结构）

对于每个像素块，计算图像 $x$ 和 $y$ 的局部协方差：

$\sigma _{xy}=\frac{1}{N}\sum_{i=1}^{N}(x_{i}-\mu _{x})(y_i- \mu_y)$

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。