交叉熵损失及其对应的focal Loss

哈哈哈hhhhhh 哈哈哈hhhhhh 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 266平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄8年
关注
原创 最新推荐文章于 2026-07-02 08:03:40 发布 266 阅读 AI 写同款· GEO 优化 ›
深度学习系列之Focal Loss个人总结 1. Introduction object detection按其流程来说，一般分为两大类。一类是two stage detector(如非常经典的Faster R-CNN)，另一类则是one stage detector(如SSD、YOLO系列)。 虽然one stage detector检测速度可以完爆two stage，但是mAP却干不过two stage。 So，Why？ the... 阅读详情

交叉熵损失及其对应的focal Loss

标签
#pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
深度学习损失函数实战指南：从MSE、交叉熵到Dice与Focal Loss 在机器学习与深度学习领域，损失函数是模型训练的核心组件，它量化了模型预测与真实值之间的差异，为优化算法提供了明确的指引方向。其设计需满足可微性等数学要求，以确保梯度能够有效回传并更新模型参数。损失函数的技术价值在于，它将抽象的学习目标转化为可优化的具体数值，直接影响模型的收敛速度与最终性能。针对不同的应用场景，如连续值预测、图像分类、语义分割等，需选用与之匹配的损失函数。例如，回归任务常用均方误差（MSE）或平均绝对误差（MAE），而分类任务则普遍依赖交叉熵损失。在处理类别不平衡或需要优化区域重叠度的分割任 阅读详情

相关推荐

从概率分布到损失函数：MSE、MAE与交叉熵的数学本质

本文深入探讨了MSE、MAE与交叉熵损失函数的数学本质，揭示其与概率分布的深刻联系。MSE源于误差服从高斯分布的假设，对异常值敏感；MAE对应拉普拉斯分布，更为稳健；交叉熵则是分类任务中伯努利/范畴分布假设下的自然产物。理解这些核心原理，能帮助我们在回归与分类任务中做出更明智的损失函数选择。

weixin_29186249的博客 399

交叉熵损失、Focal loss

Loss越大越容易收敛，太小不好收敛。 Focal loss作用： 解决类别不平衡问题，对困难样本的损失分配比较大的权重 负样本数量太大，占总的loss的大部分，而且多是容易分类的，因此使得模型的优化方向并不是我们所希望的那样。 首先为了控制正负样本的权重，可以在loss前加一个系数，比如 但是，这样只能控制正负样本的权重，但是不饿能控制容易分类和难分类样本的权重。困难：概率为0.6左右，虽然大于0.5，但是难分类；易分类如0.9。 于是就有了Focal loss:指数部分称为调制系数，目的是减少易分类样本

RUN 3658

从高斯到拉普拉斯：主流损失函数的概率论本质与选择指南

本文深入探讨了主流损失函数的概率论本质与选择指南，包括MSE、MAE、Huber Loss和交叉熵损失。通过分析高斯分布和拉普拉斯分布假设下的误差特性，揭示了不同损失函数在回归和分类任务中的适用场景与优劣。文章还提供了实战指南，帮助开发者根据数据分布选择最佳损失函数，并介绍了现代损失函数设计趋势。

weixin_28726391的博客 365

交叉熵损失函数和focal loss_损失函数之交叉熵

交叉熵原理交叉熵是用来衡量两个概率分布的距离，也可以理解为差别，概率分布即[0.1,0.5,0.2,0.1,0.1]没给类别的概率都在0~1，且加起来为1若有两个概率分布为 和 , 通过 来表示 的交叉熵（注意这里互换位置，值是不相等的，在损失函数中 为预测的结果，经过softmax后的， 为ground truth, 为ont_hot这种） 假设 为 [0, 0, 0, 1, 0,...

weixin_39530838的博客 943

从数据分布角度理解：为什么不同任务要用不同的损失函数？

假设我们有nnnx1y1x2y2xnynx1​y1​x2​y2​xn​yn​模型认为第iiipyi∣xip(y_i|x_i)pyi​∣xi​py1∣x1py2∣x2⋯pyn∣xnpy1​∣x1​py2​∣x2​⋯pyn​∣xn​∏i1npyi∣xii1∏n​pyi​∣xi。

u013250861的博客 117

交叉熵、Focal loss、L1，L2，smooth L1损失函数、IOU Loss、GIOU、DIOU和CIOU

在实际中，需要用预测概率去拟合真实概率，而拟合one-hot的真实概率函数会带来两个问题： 无法保证模型的泛化能力，容易造成过拟合； 全概率和0概率鼓励所属类别和其他类别之间的差距尽可能加大，而由梯度有界可知，这种情况很难adapt，会造成模型过于相信预测的类别。 因此，为了减少这种过于自信，同时减缓人为标注的误差带来的影响，需要对p(x)进行变化：

何少的博客 2万+

交叉熵损失函数和focal loss_交叉熵损失函数的应用

本文以二分类交叉熵损失函数为例，详细分析了交叉熵损失函数在实际应用中遇到的问题，以及解决办法，并给出了在深度学习中使用的交叉熵损失函数的具体形式。通过本文的叙述，相信能够使读者对深度学习的理解更加深入。交叉熵损失函数的向量表示 交叉熵损失函数： 其中y为label， 为预测的正类别概率，即在二分类中通过sigmoid函数得出的正类别概率大小。 BGD(batc...

weixin_39980360的博客 755

Focal Loss损失函数

Focal loss是一个常用的解决类别不平衡问题的损失函数，由何恺明提出的（论文名称：Focal Loss for Dense Object Detection），用于图像领域解决one-stage目标检测中正负样本极不平衡和难分类样本学习问题。本文从交叉熵损失函数出发，分析样本不平衡问题，将focal loss与交叉熵损失函数对比，给出focal loss有效性的解释。

ting的博客 1万+

交叉熵损失函数和focal loss_大话交叉熵损失函数

使用keras进行二分类时，常使用binary_crossentropy作为损失函数。那么它的原理是什么，跟categorical_crossentropy、sparse_categorical_crossentropy有什么区别？在进行文本分类时，如何选择损失函数，有哪些优化损失函数的方式？本文将从原理到实现进行一一介绍。参考：https://towardsdatascience.com/und...

weixin_39631649的博客 1176

【目标检测】损失函数：不同损失函数概念及其代码实现

本篇文章介绍目标检测中不同的损失函数概念及其代码实现。目标检测主要任务为实现目标的分类与定位类别/置信度损失位置损失。

chu-xia的博客 5396

损失函数解读 之 Focal Loss

前言 Focal loss 是一个在目标检测领域常用的损失函数，它是何凯明大佬在RetinaNet网络中提出的，解决了目标检测中正负样本极不平衡和 难分类样本学习的问题。 论文名称：Focal Loss for Dense Object Detection 目录 什么是正负样本极不平衡？ two-stage 样本不平衡问题 one-stage 样本不平衡问题 交叉熵 损失函数 Focal Loss 代码实现Pytorch 什么是正负样本极不平衡？ 目标检测算法为了定位目标会...

黎国溥 2万+

目标检测的损失函数

目标检测的损失函数

一休 1424

Prompt Airlines CTF通关实战：从提示词注入到多模态攻击的AI安全攻防演练

提示词注入（Prompt Injection）是当前大语言模型（LLM）应用面临的核心安全威胁之一，其原理在于攻击者通过精心构造的用户输入，覆盖或绕过系统预设的指令，从而操控模型行为。这种攻击手法的技术价值在于揭示了AI系统在理解与执行指令时存在的逻辑边界模糊性，可能导致数据泄露、越权访问等严重风险。在应用场景上，从基础的客服对话到结合视觉识别的多模态系统，都可能成为攻击面。本文以一场名为“Prompt Airlines CTF”的实战挑战为例，深入剖析了包括指令遗忘、上下文注入、工具调用滥用及多模态提示注

aodan5477的博客 518

损失函数详解-分类、回归、分割

本文系统梳理了目标分类、检测及分割任务中的损失函数设计。

m0_57874803的博客 233

BQ25798双电源输入4节电池升降压充电与最大功率跟踪于光伏板应用

介绍一颗具有窄范围直流电压NVDC、路径管理PPMT、光伏板最大功率跟踪及反向放电OTG升降压充电控制器，带I2C接口能对内部寄存器做控制

linkedin_38804946的博客 1679

C#上位机实战：借助NetToPLCSim与西门子S7-1200仿真通信全攻略

本文详细介绍了如何使用C#开发上位机程序，通过NetToPLCSim与西门子S7-1200进行仿真通信的全过程。从环境准备、PLC仿真环境搭建、网络配置到C#代码实现，提供了完整的实战指南和常见问题解决方案，帮助开发者快速掌握工业自动化通信技术。

weixin_30596343的博客 440

【无标题】

本文总结了深度学习的核心概念与指标：1)分类评估指标TP/TN/FP/FN及准确率、精确率、召回率、F1-score；2)激活函数softmax和sigmoid的特性与区别；3)目标检测中的IoU系列指标（GIoU/DIoU/CIoU）及其损失函数；4)常用损失函数包括交叉熵损失、Focal Loss及KL损失等；5)YOLO系列目标检测算法的坐标计算方法演变。内容涵盖分类、检测任务的关键技术点，通过公式与图示直观呈现核心概念，为深度学习实践提供理论基础。

m0_38113054的博客 198

【学长笔记】关于车牌识别的CCPD数据集按比例划分

本文介绍了一个用于CCPD车牌数据集划分的Python脚本，主要功能包括：1) 将数据集按比例划分为训练集、验证集和测试集；2) 支持图像与标签文件校验；3) 可自定义划分比例和样本数量限制；4) 自动生成标准目录结构。脚本使用随机种子确保可重复性，并通过tqdm显示进度条。处理后数据可直接用于YOLO等目标检测模型的训练与评估，建议在预处理完成后立即执行划分以避免数据泄露。文章还提供了相关技术博客的参考链接。

apple_53308981的博客 1478

分割网络损失函数总结！交叉熵，Focal loss，Dice，iou，TverskyLoss！

交叉熵损失，Focal loss, Dice, iou, Tverskyloss!

jijiarenxiaoyudi的博客 1万+

完整内、外期货量化交易系统源码可售

支持客户登录校验，支持所有的实时行情和汇总报价功能、实时资讯（报价，列表，分时，分钟成交明晰，），多线程支持盘后收盘作业下载（日线，5分钟线，15分钟, 30分钟，60分钟线，），支持从服务器下载相关运行配置（来自服务器动态配置信息，如收盘日期等），实现状态条显示。收盘作业包括日线、5分钟线、15分钟线、30分钟、60分钟线、2小时线、4小时线每日分时走势。综合信息栏显示用户账户信息、合约信息、当日委托单记录、当日成交记录、当日平仓记录、当日跟单记录、当日（月/周）排行榜、下单栏、持仓信息；

qq_35600909的博客 1805

智能车图像处理2-入门级分析1 ---基础扫线

PS :入门级文章适合新手，如果已经有基础可以去看进阶篇文章。

taiyuezyh的博客 7756

Focal Loss 论文理解及公式推导

原文：Focal Loss 论文理解及公式推导 - AIUAI 题目: Focal Loss for Dense Object Detection - ICCV2017 作者: Tsung-Yi, Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollar 团队: FAIR 精度最高的目标检测器往往基于 RCNN 的 two-stage...

长风破浪会有时，直挂云帆济沧海 2万+

【推荐100个unity插件之10】Unity Cinemachine最全的最详细的虚拟相机介绍，详细案例讲解，快速上手

相信很多同学都用过Unity的Cinemachine插件，使用它可以很方便地实现一些摄像机效果，比如摄像机追踪、推拉镜头、分镜等效果。Cinemachine的知识特别的多又很常用，本来是想做一期来讲一下的，结果搜索发现已经有人做过了，而且内容挺全的，但是内容可能比较啰嗦，还有部分没有补充，所以我就先转载下来，后续有时间再优化修改补充，觉得内容不错的，很欢迎大家去支持原作者。

向宇的博客，专注php/web全栈 unity游戏开发，欢迎大家评论纠错 2万+

focal loss详解

focal loss的整体理解 focal loss 是一种处理样本分类不均衡的损失函数，它侧重的点是区分样本是否容易辨认，即给容易区分的样本添加较小的权重α1\alpha_1α1​，给难分辨的样本添加较大的权重α2\alpha_2α2​.那么，损失函数的表达式可以写为： Lsum=α1×L易区分+α2×L难区分L_{sum}=\alpha_1\times L_{易区分}+\alpha_2\times L_{难区分}Lsum​=α1​×L易区分​+α2​×L难区分​ 因为α1\alpha_1α1​小而α2\

cxkyxx的博客 3万+

UDS诊断服务基础详解之七-31服务

本节内容主要是讲解诊断服务中的31服务，包含31服务的使用场景，请求报文格式，响应报文格式，以及举例对31服务进行相关的说明

车载网络小D的博客 5629

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具

Focal Loss损失函数（超级详细的解读）

什么是损失函数？ 1、什么是损失呢？ 在机器学习模型中，对于每一个样本的预测值与真实值的差称为损失。 2、什么是损失函数呢？ 显而易见，是一个用来计算损失的函数。它是一个非负实值函数,通常使用L(Y, f(x))来表示。 3、那损失函数有什么用呢？ 度量一个模型进行每一次预测的好坏（即预测值与真实值的差距程度）。差距程度越小，则损失越小，该学习模型越好。 4、损失函数如何使用呢? 损失函数主要是用在模型的训练阶...

BIgHAo1的博客 16万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件，有需要的下载！WINCC7.3硬件够破解文件，有需要的下载！
上一篇： 通俗讲解pytorch中nn.Embedding原理及使用
下一篇： 早期关系分类
点赞 0
评论 0
书签 书签 0
哈哈哈hhhhhh
哈哈哈hhhhhh
博客等级 码龄8年 360粉丝 79原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值