语义分割中常用的损失函数

原创

已于 2022-12-06 10:21:43 修改 · 5.3k 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习

于 2022-12-05 21:34:47 首次发布

前言

语义分割任务可以看作像素级的分类任务，在设计基于语义分割的深度学习架构时，尤其是在伪装目标分割的特殊场景下，损失/目标函数的选择非常关键，会直接影响到算法的学习过程，进而影响到模型的收敛速度、分割准确度。

目前，语义分割种常用的损失函数包括cross entropy, generalized dice coefficient, focal loss 等。

1. cross entropy交叉熵

逐像素的交叉熵是语义分割中最常用的一种损失函数，一般用来量化两个概率分布之间的差异。
（1）对于二分类的情况，其公式如下：
$L=\frac{1}{N} \sum_i -[y_i \cdot log(p_i)+(1-y_i) \cdot log(1-p_i)]$

其中：

$y_i$ 表示样本i的label，正类为1，负类为-
$p_I$ 表示样本i预测为正类的概率

（2）对于多分类的情况
$\frac{1}{N} \sum_i \sum_{c=1}^M y_{ic}log(p_{ic})$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

东方采菊

关注关注

4
点赞
踩
31

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【知识点】语义分割任务中有哪些损失函数？

q742971636的博客

05-16

178

本文详细介绍了语义分割任务中常用的损失函数 ，并重点加入了边界感知损失（Boundary Loss），以解决图像分割中常见的边界模糊问题。

语义分割中的损失函数设计

AI天才研究院

08-17

512

语义分割中的损失函数设计作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 计算机视觉与语义分割 计算机视觉是人工智能的一个重要分支，其目标是使计算机能够“看到”和理解图像。语义分割是计算机视觉中的一个重要任务，其目标是将图

参与评论您还未登录，请先登录后发表或查看评论

BCE（二元交叉熵）与Dice

最新发布

qq_73038863的博客

09-23

1047

二元交叉熵（Binary Cross-Entropy, BCE）是深度学习中用于二分类任务的损失函数，衡量模型预测概率与真实标签之间的差异。适用于输出为概率值（如Sigmoid激活后的结果）的场景，例如图像分类中的正/负样本判断。PyTorch提供了BCELoss和BCEWithLogitsLoss两种实现方式。（1）语义分割二分类：血管、视网膜、皮肤病变、道路、缺陷检测等几乎默认先上 BCE(+Dice)。

分割常用损失函数

Billie使劲学的博客

07-05

7246

交叉熵损失公式：其中表示真实标签，表表示预测结果。优点：交叉熵Loss可以用在大多数语义分割场景中。缺点：对于只分割前景和背景的时候，当前景像素的数量远远小于背景像素的数量时，即y=0的数量远远大于y=1的数量，损失函数中y=0的成分就会占据主导，使得模型严重偏向背景，导致效果不好。（该缺点对二分类不友好。eg：医学图像分割）加权交叉熵损失公式：公式：特点：基本等价于二分类情况下的交叉熵，通产接sigmoid激活函数的输出。源自目标检测方向，是对标准交叉熵的一种改进，主要解决难易样本数量不平衡的问题。当正负

图像分割——交叉熵损失

ThreeStones1029的博客

04-17

4121

交叉熵的详解，从熵的由来到交叉熵，同样分析了使用交叉熵的好处，以及交叉熵在图像分割领域的使用。

DeepLab之语义分割损失函数和评价指标

zxrc的博客

07-16

2674

一、损失函数 1.交叉熵损失 Cross Entorpy Loss 逐像素交叉熵损失是图像分割中最常用的损失函数。该损失函数分别检查每个像素，将类预测（softmax 或 sigmoid）与目标向量（one hot）进行比较。 1.1交叉熵。关于样本集的两个概率分布p和q，设p为真实的分布，例如[1, 0, 0]表示当前文本属于第一类；q为拟合的分布，例如该文本的分布为[0.7, 0.2, 0.1]。按照真实分布p来衡量识别一个样本所需的编码长度的期望，即平均编码长度（信息熵）： H(p)=−∑i=1C

语义分割的损失函数

hello_dear_you的博客

11-01

9181

语义分割任务实际上是一种像素层面上的分类，需要识别图像中存在的内容和位置，同样也存在与分类类似问题-样本类别不平衡，对于语义分割更多的是前景区域的样本远小于背景区域。针对类别不平衡问题，在loss层面上有不同的选择。 1. dice Loss dice loss 源于dice系数，是用于度量集合相似度的度量函数，通常用于计算两个样本之间的相似度，公式如下：那么对应的dice loss的公式如下：为了防止分母预测为0，会在分子和分母上加上一个平滑系数，公式如下。需要注意...

语义分割中那些常见的loss

weixin_44095417的博客

03-20

2383

语义分割是计算机视觉中的一个任务，常用的语义分割损失函数包括：交叉熵损失（Cross Entropy Loss）「交叉熵损失（Cross Entropy Loss）」是在分类任务中常用的一种损失函数，也被称为负对数似然损失（Negative Log-Likelihood Loss）。它主要用于测量模型输出的概率分布与实际标签之间的差异。在语义分割任务中，交叉熵损失通常被应用于像素级别的分类。假设有一个像素属于C类别的图像，其真实标签为one-hot编码的向量[0, 0, ..., 1, ..., 0]

语义分割中常用的两种损失函数

YoGooooooooooo的博客

10-17

7246

cross-entropy 交叉熵信息量信息量个人理解是指验证信息发生所需要的信息多少，所以一个事件发生的概率越大，它的信息量越小。例如以下事件： A ：明早太阳东边升起 B ：明早太阳西边升起我们可以知道事件B直观上给我们的信息量很爆炸，我们验证B发生需要的知识，条件比较多。对于一个小概率事件，它的发生往往给人带来爆炸的信息，我们称它的信息量大。记作：熵的概念熵是指信...

【深度学习】语义分割中的 loss function 最全面汇总

fengdu78的博客

12-25

2118

作者丨程序员阿德@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/101773544 编辑丨极市平台导读本文总结了语义分割中的5个损失函数，详细介绍每个损失函数的使用场景以及特点。目录：cross entropy lossweighted lossfocal lossdice soft losssoft iou loss总结1、cross entropy loss...

语义分割中的 loss function 最全面汇总

zandaoguang的博客

05-24

1282

点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨程序员阿德@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/101773544编辑丨极市平台导读本文总结了语义分割中的5个损失函数，详细介绍每个损失函数的使用场景以及特点。目录：cross entropy lossweighted lossfocal lossdice...

语义分割损失函数总结

Nick Blog

12-15

1万+

总结来说，交叉熵平等对待每个像素，加权交叉熵更关注少样本类别，focal loss更加关注难分样本，dice loss和iou loss更加关注TP,平等对待FN和FP，tversky loss除过TP外，更加倾向于关注FN 1. 交叉熵（Cross Entorpy）图像分割中最常用的损失函数是逐像素交叉熵损失。该损失函数分别检查每个像素，将类预测(softmax or sigmoid)与目标向量（one hot）进行比较。 1.1 理论指导二分类：二分类最终模型采用sigmoid激活函数，最后一层仅

语义分割的各种loss损失函数

hxxjxw的博客

10-28

1221

https://blog.youkuaiyun.com/wangdongwei0/article/details/84576044

语义分割之损失函数汇总

qq_22751305的博客

04-02

1795

Wassertein 多分类，若采用交叉熵损失，可考虑将Wassertein 距离作为交叉熵损失的一个选择。 Wassertein 距离被用来衡量两个分布的相似程度，衡量了把数据从分布“p”移动成分布“q”时所需要移动的平均距离的最小值。《Severity-Aware Semantic Segmentation with Reinforced Wasserstein Training》做法：对于每一个像素，计算其softmax输出直方图和相应one-hot标签间的wassertein距离。..

关于语义分割的三种常用损失函数

Sircollector的博客

04-25

863

书接上回关于标签信息的导入：jpg (bn, 3, 512, 512) 待输入进网络的内容png (bn, 512, 512) (0-20为类别，21为白边，训练时忽略)

语义分割损失函数系列(1):交叉熵损失函数

lwf1881的博客

02-22

5899

LovaszSoftmax

热门推荐

年轻即出发，

01-18

1万+

论文:The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks Github：https://github.com/bermanmaxim/LovaszSoftmax CVPR2018 论...

语义分割loss汇总

frighting_ing的博客

03-08

5469

语义分割的那些loss(甚至还有ssim) 今天我们看下关于语义分割的常规losslossloss设计，其中还有多个losslossloss联合一起用的，其中就如BASNetBASNetBASNet这种显著性检测的工作，我们也分析了它的losslossloss设计。希望各位做分割的，可以在losslossloss层面，有所启发～交叉熵损失 Cross Entropy Loss Function 用于图像语义分割任务的最常用损失函数是像素级别的交叉熵损失，这种损失会逐个检查每个像素，将对每个像素类别的预测结

语义分割中的损失函数

02-19

### 语义分割使用的损失函数类型及应用场景 #### 交叉熵损失函数 (Cross-Entropy Loss) 交叉熵损失函数是最常用的损失函数之一，在多类分类问题中表现良好。对于像素级别的分类任务，即每个像素属于某一特定类别，该损失函数能够有效地衡量预测分布与真实标签之间的差异。 ```python import torch.nn as nn criterion = nn.CrossEntropyLoss() ``` 此方法简单易实现，但在处理不平衡数据集时效果不佳[^2]。 #### Dice 损失函数 (Dice Loss) 针对样本极度不均衡的情况，Dice损失是一个不错的选择。它基于Sørensen-Dice系数计算两个集合间的相似度，特别适合于前景背景比例悬殊的任务。然而，直接应用可能会导致训练过程中的梯度消失现象，从而影响收敛速度和稳定性[^4]。 ```python def dice_loss(pred, target): smooth = 1. intersection = (pred * target).sum(dim=(1, 2)) union = pred.sum(dim=(1, 2)) + target.sum(dim=(1, 2)) return 1 - ((2. * intersection + smooth) / (union + smooth)).mean() ``` #### Focal 损失函数 (Focal Loss) 为了应对极端类别不平衡的问题而提出的改进版交叉熵损失——Focal Loss引入了一个调节因子γ来降低容易分错的负样本权重，使得模型更加关注难以区分的例子。这有助于提高少数类别的检测精度而不牺牲整体性能。 ```python class FocalLoss(nn.Module): def __init__(self, gamma=2., alpha=None): super(FocalLoss, self).__init__() self.gamma = gamma self.alpha = alpha def forward(self, input, target): ce_loss = F.cross_entropy(input, target, reduction='none') pt = torch.exp(-ce_loss) focal_loss = (self.alpha * (1-pt)**self.gamma * ce_loss).mean() return focal_loss ``` #### Tversky 损失函数 (Tversky Loss) 作为Dice损失的一种泛化形式,Tversky增加了β参数控制正负样本间的重要性平衡。当设置不同的α和β值可以灵活调整对不同类型的错误惩罚程度，因此非常适合解决不对称的数据分布情况下的优化难题。 ```python def tversky_loss(pred, target, beta=0.7): smooth = 1e-5 tp = (pred * target).sum((1, 2)) fp = ((1-target)*pred).sum((1, 2)) fn = (target*(1-pred)).sum((1, 2)) score = (tp + smooth)/(tp + beta*fn + (1-beta)*fp + smooth) return 1-score.mean() ``` #### Lovász-Softmax 损失函数 (Lovász-Softmax Loss) 不同于其他逐像素独立评估的方法,Lovász Softmax考虑到了整个区域内的误差累积效应，并将其转化为连续可导的形式以便于BP算法求解最优解路径。这种方法能更好地捕捉到物体边界信息并减少过拟合风险。 ```python from lovasz_losses import lovasz_softmax lovasz_criterion = lambda logits, labels: lovasz_softmax(logits.softmax(dim=1), labels, classes='present', per_image=False) ```