- 博客(183)
- 收藏
- 关注
RSS订阅原创 损失函数大汇总（六十二）（Level Set Loss附公式推导与代码）
本文介绍了Level Set Loss在深度学习分割任务中的应用。Level Set Loss源自传统水平集方法，通过将轮廓演化、区域一致性和边界平滑等几何先验引入神经网络训练，能够有效改善分割结果的边界质量。文章详细解析了经典水平集能量函数的各项含义，包括轮廓长度项、面积项和区域一致性项，并阐述了如何将其改写为适用于深度学习的形式。典型的Level Set Loss通常结合区域一致性项和边界平滑项，与常规分割损失（如交叉熵或Dice）联合使用，既能保证基本分割精度，又能获得更自然平滑的轮廓。这种方法特别适
2026-03-30 16:31:29
508
原创 损失函数大汇总（六十一）（Signed Distance Map Loss附公式推导与代码）
摘要 本文介绍了Signed Distance Map (SDM) Loss，一种将形状先验直接融入分割任务的方法。SDM将每个像素表示为到目标边界的带符号距离（内部为负，外部为正），相比二值mask能更连续地表达形状几何信息。SDM Loss的核心思想是让网络学习这个隐式形状场，通过可微的Heaviside函数近似将SDM转换为分割结果。文中重点分析了一种product-based regression loss，它能同时关注距离数值和内外符号的正确性，对边界区域尤为敏感。SDM Loss通常与传统的分割
2026-03-27 13:54:23
184
原创 损失函数大汇总（六十）（Discrete Morse Theory Loss附公式推导与代码）
本文介绍了Discrete Morse Theory Loss（DMT Loss）在拓扑敏感分割任务中的应用。该损失函数的核心思想是识别并强调真正决定连通性、闭合性和孔洞生成的关键局部结构，而非平均惩罚所有拓扑错误。DMT Loss特别适用于细长结构、薄膜闭合等任务，能有效定位如血管断裂点、薄膜薄弱处等关键位置。与Persistent Homology Loss和Betti Matching Loss不同，DMT Loss更侧重于局部结构而非全局拓扑特征，通过加权关键像素的监督信号来优化模型。文章还提供了D
2026-03-27 13:52:54
365
原创 损失函数大汇总（五十九）（TopoInteraction Loss附公式推导与代码）
本文介绍了TopoInteraction Loss，一种用于多类别分割任务的拓扑交互约束损失函数。不同于传统拓扑损失关注单类别的连通性和孔洞数量，该损失重点约束不同类别之间的空间关系，包括互斥（exclusion）和包含（containment）两种典型拓扑关系。通过将全局拓扑约束转化为局部邻接检测，该损失能准确定位破坏预设拓扑关系的像素，并针对性施加惩罚。关键创新点在于：1）将包含关系转化为互斥约束；2）使用卷积运算高效检测非法邻接；3）仅对违规像素施加损失。实验表明，该方法能有效纠正类别间的错误接触，特
2026-03-27 13:51:20
347
原创 损失函数大汇总（五十八）（Betti Matching Loss附公式推导与代码）
Betti Matching Loss 通过匹配预测和真实标签中的具体拓扑特征（如连通区域和孔洞），实现比 Euler Characteristic Loss 更精细的拓扑约束。它不仅比较特征数量，还建立特征对应关系，惩罚匹配特征间的差异、多余特征和缺失特征。相比仅计算全局拓扑摘要的 Euler Characteristic Loss，Betti Matching Loss 能更精确地控制拓扑结构的空间对应关系，提升分割质量。
2026-03-27 13:49:44
385
原创 损失函数大汇总（五十七）（Euler Characteristic Loss附公式推导与代码）
本文提出了一种轻量级的拓扑约束方法——Euler Characteristic Loss，用于在图像分割任务中保持正确的拓扑结构。该方法通过计算预测结果和真实标签的欧拉示性数（连通块数减孔洞数）差异来构建损失函数。为了解决二值分割不可导的问题，作者提出了基于概率图的soft Euler characteristic近似计算方案，将顶点、边和面的数量用概率乘积形式表示，使损失函数可微。文章详细推导了该损失的计算公式和梯度表达式，并分析了其作用机制：通过约束全局拓扑不变量来同时控制连通块数和孔洞数。相比基于持续
2026-03-27 13:48:19
368
原创 损失函数大汇总（五十六）（Topological Loss附公式推导与代码）
本文介绍了Topological Loss损失函数，其核心思想是通过约束分割结果的拓扑结构来提升分割质量。文章首先指出传统区域和边界损失函数无法解决拓扑错误问题（如结构断裂、错误粘连或孔洞错误），进而引入Betti数（连通分量数、孔洞数等）作为拓扑描述指标。由于网络输出是概率图而非二值结果，提出使用持续同调（persistent homology）分析不同阈值下的拓扑特征变化，通过追踪特征的"出生"和"死亡"阈值来评估其重要性。Topological Loss的实现方
2026-03-27 13:45:44
433
原创 损失函数大汇总（五十五）（Active Boundary Loss附公式推导与代码）
本文介绍了一种主动边界损失（Active Boundary Loss, ABL），用于改进图像分割任务中的边界对齐效果。与传统边界损失不同，ABL不仅评估边界偏差，还主动为预测边界点提供移动方向指导。其核心思想是将边界对齐问题转化为方向预测问题，通过计算预测边界点到真实边界最近点的方向向量作为监督信号，要求模型学习边界修正方向。ABL特别适用于对边界细节要求高的任务，能有效改善边界模糊、偏移等问题。与区域损失（如Dice/CE）结合使用时，可兼顾整体分割质量和边界精细度。相比仅惩罚偏差的边界损失，ABL提供
2026-03-27 10:55:29
373
原创 损失函数大汇总（五十四）（Hausdorff Distance Loss附公式推导与代码）
本文介绍了Hausdorff距离损失函数(Hausdorff Distance Loss)及其在图像分割任务中的应用。Hausdorff距离衡量两个点集之间最远的边界偏差，特别关注分割结果中的"极端坏点"，如局部大偏差、细长结构断裂等问题。文章详细推导了该损失函数的数学形式，它通过距离变换图加权像素误差，强调远离边界的错误。与Boundary Loss不同，Hausdorff Distance Loss更关注最坏情况下的边界偏差而非整体边界准确性。参数α控制对远距离错误的敏感度，α越大越
2026-03-26 15:00:40
57
原创 损失函数大汇总（五十三）（Boundary Loss附公式推导与代码）
摘要 Boundary Loss是一种针对图像分割任务的新型损失函数，特别适用于高度类别不平衡的细粒度分割场景。与传统的区域型损失（如Dice、交叉熵）不同，它通过计算预测边界与真实边界之间的距离来优化模型，更关注边界精度而非区域重叠。核心思想是利用距离图（distance map）将边界约束转化为区域积分形式，实现端到端训练。具体实现中，损失函数为预测概率与距离图的点积，梯度仅取决于距离图，具有明确的空间引导性。相比区域型损失，Boundary Loss能更好处理小目标、细长结构等边界敏感任务，可与Dic
2026-03-26 14:54:25
237
原创 损失函数大汇总（五十二）（Log-Cosh Dice Loss附公式推导与代码）
本文介绍了Log-Cosh Dice Loss，一种针对Dice Loss的平滑改进方法。该损失函数通过在Dice Loss外层套用log(cosh)变换，保留了Dice的区域重叠优化本质，同时使损失曲线更平滑、梯度变化更柔和。文章详细推导了其数学公式和梯度计算，指出在小误差区域近似二次函数，大误差区域近似线性增长，并通过tanh门控因子实现梯度平滑控制。相比Exponential Logarithmic Loss的双分支改造，Log-Cosh Dice Loss更聚焦于单一Dice支路的优化改进，适合需要
2026-03-26 14:49:04
164
原创 损失函数大汇总（五十一）（Exponential Logarithmic Loss附公式推导与代码）
本文介绍了Exponential Logarithmic Loss损失函数，它在Dice Loss和交叉熵损失的基础上进行了非线性重塑。该损失函数通过将对数变换和指数参数相结合，重新调节了不同误差区间的优化强度。其核心思想是对Dice和交叉熵分别进行"非线性重加权"，而非简单线性组合。具体实现上，将Dice系数取对数后加入指数参数控制曲率，同时对交叉熵损失也进行指数化处理。这种双重非线性变换使得模型在不同难度的样本上表现出差异化敏感度，特别适用于类别不平衡分割、医学图像分割等场景。相比传
2026-03-26 14:35:11
153
原创 损失函数大汇总（五十）（Unified Focal Loss附公式推导与代码）
LUFLλLAFT1−λLAFLLUFLλLAFT1−λLAFLλ∈01λ∈01控制 overlap 分支和 distribution 分支的相对权重；LAFTLAFT负责区域重叠与前景召回；LAFLLAFL负责逐像素分布学习与背景抑制。
2026-03-26 13:39:46
342
原创 损失函数大汇总（四十九）（Focal Dice Loss附公式推导与代码）
本文介绍了Focal Dice Loss，一种针对医学图像分割任务的改进损失函数。该损失函数通过将focal思想引入Dice Loss，能够更好地处理类别不平衡问题，特别适用于小目标和困难区域的分割任务。文章详细推导了Focal Dice Loss的数学公式，分析了其梯度特性，并与Dice Loss、Focal Tversky Loss等相关方法进行了对比。Focal Dice Loss通过在普通Dice Loss基础上增加幂次参数γ，实现了对困难区域的强化关注，同时保持了Dice Loss关注区域重叠的核
2026-03-26 13:28:49
322
原创 损失函数大汇总（四十八）（Combo Loss附公式推导与代码）
Combo Loss是一种结合交叉熵损失(BCE)和Dice损失的分割损失函数，通过参数α平衡两者的权重。它既保留BCE对像素级分类的稳定监督，又利用Dice提升区域重叠性能，特别适用于医学图像等小目标分割任务。进一步可通过β参数调整BCE内部权重，控制假阳性/假阴性偏好。相比单一损失，Combo Loss在训练稳定性和分割指标间取得更好平衡，成为工程实践中的常用选择。
2026-03-26 12:58:44
337
原创 损失函数大汇总（四十七）（Jaccard Loss附公式推导与代码）
本文介绍了Jaccard Loss（又称IoU Loss）在图像分割任务中的应用。Jaccard Loss通过直接优化与评价指标IoU一致的连续近似损失函数，相比Cross Entropy、Dice Loss等更具针对性。文章详细推导了二值分割和多类分割的Jaccard Loss公式，分析了其与Dice系数的关系及区别：Jaccard Loss对预测区域的错误扩张更敏感，计算方式更严格。同时解释了为何需要采用soft版本而非原始IoU，并比较了Jaccard Loss与Lovász-Softmax的异同。该
2026-03-26 12:56:46
386
原创 损失函数大汇总（四十六）（Generalized Dice Loss附公式推导与代码）
Generalized Dice Loss（GDL）是针对多类分割任务中极端类别不平衡问题提出的改进方法。它在普通Dice Loss基础上引入类别权重，通过平方倒数权重显式补偿小类别的影响，使训练更关注稀缺区域。GDL特别适合医学图像分割（如小器官/病灶检测），能有效解决大类别主导问题。但与交叉熵损失（CE）相比，GDL对空类别敏感且缺乏概率校准性，因此常与CE联合使用，兼顾像素级分类和区域重叠优化。实现时需注意数值稳定性处理（如加平滑项ε）。
2026-03-26 12:48:30
460
原创 损失函数大汇总（四十五）（clDice Loss附公式推导与代码）
clDice Loss是一种针对细长结构分割任务的拓扑保持损失函数，通过比较预测区域和真实区域的中心线重叠情况来评估分割质量。与传统Dice Loss关注区域重叠不同，clDice Loss重点考察连通性和骨架拓扑结构，能有效避免血管断裂、分支错误连接等问题。该损失函数包含两个核心指标：预测骨架在真实区域中的覆盖比例（Topology Precision）和真实骨架被预测区域覆盖的比例（Topology Sensitivity），通过调和平均得到最终评估值。由于传统骨架提取算法不可导，实际实现采用可微的so
2026-03-26 12:42:18
447
原创 损失函数大汇总（四十四）（Hausdorff Loss附公式推导与代码）
Hausdorff Loss是一种专注于边界分割质量的损失函数，特别关注预测边界与真实边界之间的最大偏差。与Dice等区域重叠指标不同，Hausdorff距离衡量的是"最坏情况下的边界误差"，这对医学图像分割等精细任务尤为重要。由于原始Hausdorff距离包含不可导的最大值和最近点搜索操作，实际应用中采用基于距离变换图的平滑近似形式：将预测误差与距离权重相乘，重点惩罚远离边界的严重错分。该损失通常与区域损失（如Dice）联合使用，在细长结构和小目标分割中表现优异，能有效改善边界定
2026-03-25 10:05:01
209
原创 损失函数大汇总（四十三）（Boundary Loss附公式推导与代码）
摘要 Boundary Loss是一种针对图像分割任务的边界优化损失函数，特别适用于小目标、细长结构和类别不平衡场景。它通过引入真实边界的有符号距离场（SDF），将边界距离优化问题转化为区域积分形式。与Dice Loss等区域重叠损失不同，Boundary Loss更关注预测边界与真实边界的精确对齐，而非整体区域重叠。其核心公式为像素级SDF值与预测概率的乘积求和，通过梯度调整使预测概率在真实边界内部升高、外部降低。该损失通常与区域型损失（如CE或Dice）联合使用，形成"区域分割+边界修正&qu
2026-03-25 09:55:34
352
原创 损失函数大汇总（四十二）（Focal Tversky Loss附公式推导与代码）
Focal Tversky Loss结合了Tversky Loss和Focal Loss的优点，通过参数α、β控制FP/FN权重，γ参数聚焦困难样本。它在病灶分割、小目标检测等任务中表现优异，能有效解决前景稀疏、边界模糊等问题。相比Dice Loss和普通Tversky Loss，Focal Tversky Loss通过指数变换强化困难区域的训练权重，同时保持区域级优化的特性。其梯度特性自动调整简单/困难样本的学习强度，是多类分割任务中常用的损失函数之一。
2026-03-25 09:52:28
399
原创 损失函数大汇总（四十一）（Tversky Loss附公式推导与代码）
Tversky Loss是Dice Loss的泛化形式，通过引入权重系数α和β，可对假阳性(FP)和假阴性(FN)进行不对称惩罚。当α=β=0.5时退化为Dice Loss，α=β=1时退化为IoU。该损失函数特别适用于需要区分FP/FN代价的场景，如医学图像分割中可设置β>α以降低漏检率。Tversky Loss通过调整α和β实现对precision-recall权衡的灵活控制，比Dice Loss更具适应性。
2026-03-25 09:46:50
557
原创 损失函数大汇总（四十）（Dice Loss附公式推导与代码）
Dice Loss是一种基于区域重叠度量的分割损失函数，特别适用于类别不平衡和小目标分割任务。它通过计算预测区域与真实区域的Dice系数（2倍交集除以总面积）来优化模型，而非逐像素分类。相比交叉熵损失，Dice Loss更关注整体轮廓匹配，对前景稀疏场景更鲁棒。其核心公式为1减去Dice系数，并常添加平滑项ε防止数值不稳定。多类扩展通常采用类别平均或加权平均形式。该损失函数与IoU指标高度相关，在医学图像分割等领域应用广泛。
2026-03-25 09:39:57
429
原创 损失函数大汇总（三十九）（Lovász-Softmax Loss附公式推导与代码）
本文介绍了语义分割中的经典损失函数Lovász-Softmax Loss，它通过Lovász扩展将离散的IoU/Jaccard指标转化为可导的连续替代目标。文章详细推导了该损失的理论基础，包括误差定义、排序处理、梯度计算等关键步骤，并对比分析了其与交叉熵、Dice Loss、Focal Loss的区别。Lovász-Softmax Loss直接优化mIoU指标，优先修正对整体IoU影响最大的误差像素，比逐像素优化的交叉熵更贴合分割任务需求，常被单独使用或与交叉熵联合训练。
2026-03-25 09:34:25
544
原创 损失函数大汇总（三十八）（AUCPR Loss附公式推导与代码）
本文系统介绍了AUCPR Loss的原理与应用。针对不平衡分类任务中AUC指标不够敏感的问题，提出通过优化PR曲线面积(AUCPR)来提升模型性能。文章详细推导了AUCPR的可微近似实现：首先用sigmoid函数软化阈值判断，构造可微的TP/FP/FN计数；然后基于软Precision和Recall计算近似PR曲线面积；最后通过数值积分得到可优化的损失函数。特别讨论了温度参数τ对训练稳定性的影响，并比较了AUCPR与AUC、AP等指标的异同。该方法适用于医学筛查、欺诈检测等极端不平衡场景，能更准确反映模型对
2026-03-25 09:30:04
441
原创 损失函数大汇总（三十七）（pAUC Loss附公式推导与代码）
本文介绍了pAUC Loss（局部ROC曲线下面积损失函数）及其应用场景。与完整AUC不同，pAUC专注于特定FPR区间内的模型性能，特别适用于医学筛查、风险预警等低FPR场景。文章详细阐述了one-way和two-way pAUC的定义及经验公式，指出其不可直接优化的原因，并给出了logistic、Hinge等可导替代形式。pAUC Loss通过仅优化目标FPR区间内的关键负样本对，实现局部排序能力的提升，相比完整AUC Loss更能针对性地改善模型在关键区域的表现。
2026-03-25 09:26:08
408
原创 损失函数大汇总（三十六）（AUC Loss附公式推导与代码）
摘要 AUC Loss是一类专为最大化AUC指标设计的可导替代损失函数。AUC衡量模型将正样本整体排在负样本前面的能力，其原始定义不可导。常见解决方案是用平滑函数替代指示函数，形成pairwise ranking loss。最典型的是logistic形式：$\mathcal{L}=\frac{1}{MN}\sum_{i\in\mathcal{P}}\sum_{j\in\mathcal{N}}\log(1+\exp(-(s_i-s_j)))$，它通过梯度推动正样本分数上升、负样本分数下降。其他变体包括带mar
2026-03-24 13:02:59
353
原创 损失函数大汇总（三十五）（SmoothAP Loss附公式推导与代码）
本文介绍了SmoothAP Loss，这是一种面向检索任务的可微AP近似损失函数。传统AP指标由于依赖离散排序而不可直接优化，SmoothAP通过将硬排名替换为基于sigmoid的soft rank近似，实现了AP的连续可导形式。文章详细推导了SmoothAP的数学定义，对比分析了其与BPR、RankNet、ApproxNDCG等排序损失的区别，并讨论了温度参数τ的作用。该方法能直接优化检索任务的核心指标AP/mAP，比pairwise损失更符合检索需求。文中还提供了代码实现思路，为检索模型训练提供了新选择
2026-03-24 12:59:19
1076
原创 损失函数大汇总（三十四）（SoftRank Loss附公式推导与代码）
本文介绍了SoftRank Loss，一种用于优化排序指标的可微近似方法。SoftRank通过将离散排名视为随机变量，基于模型分数加噪声扰动的假设，计算样本排名的概率分布。核心思想是利用高斯CDF近似样本间的比较概率，进而得到期望排名，并将原始排序指标（如NDCG）改写为对排名分布的期望。相比ApproxNDCG的直接构造soft rank，SoftRank更注重从概率角度建模排名不确定性。实际实现中常采用简化版本，直接使用期望排名代替离散排名。该方法解决了排序指标不可导的问题，使其适用于梯度下降优化。
2026-03-24 12:57:35
395
原创 损失函数大汇总（三十三）（ApproxNDCG Loss附公式推导与代码）
ApproxNDCG Loss是一种直接优化NDCG排序指标的可微近似方法。传统NDCG依赖离散排序位置而不可导，ApproxNDCG通过将硬排名替换为连续软排名来解决这一问题：使用sigmoid函数计算样本间的相对排序概率，构建可微的近似排名。该方法将模型分数、软排名和NDCG公式整合成端到端的优化目标，相比间接优化pairwise关系的LambdaRank等方法更为直接。关键超参数温度系数τ控制排名的平滑程度，τ越小越接近真实排序但梯度越不稳定。ApproxNDCG实现了从"分数→软排名→近似
2026-03-24 10:03:16
433
原创 损失函数大汇总（三十二）（LambdaMART目标附公式推导与代码）
LambdaMART是一种结合LambdaRank和GBDT的排序学习框架，通过拟合专门设计的lambda梯度来优化NDCG等排序指标。其核心思想是： 保留LambdaRank的pairwise梯度加权机制，根据样本交换对NDCG的影响调整梯度权重 使用GBDT模型拟合这些梯度信号，每轮提升树都学习如何调整样本分数 计算文档级别的lambda梯度（一阶）和二阶项，指导树的分裂和叶子值更新 相比普通GBDT，LambdaMART不是直接拟合标签，而是优化排序指标导向的梯度信号，使其在工业界和竞赛中表现优异。文
2026-03-23 10:12:12
47
原创 损失函数大汇总（三十一）（LambdaRank Loss附公式推导与代码）
LambdaRank Loss 是一种改进的排序学习损失函数，它在 RankNet 基础上引入指标感知机制。核心思想是根据样本对交换位置对评价指标（如 NDCG）的影响程度来调整梯度权重，使优化更关注对排序结果影响更大的样本对。具体实现是通过将 RankNet 的 pairwise 梯度乘以 |ΔNDCG| 的绝对值，从而让高相关样本错排时获得更大梯度。相比 RankNet 对所有错排样本同等对待，LambdaRank 更符合实际排序任务需求，能够有效提升前几位排序质量。该损失函数尤其适用于搜索排序、推荐系
2026-03-23 10:05:26
196
原创 损失函数大汇总（三十）（RankNet Loss附公式推导与代码）
本文介绍了经典的排序学习损失函数RankNet Loss。RankNet将排序问题转化为成对概率预测，通过sigmoid函数定义样本间的排序概率，并采用交叉熵损失进行优化。文章详细推导了RankNet的概率定义、损失函数形式及其梯度，并与BPR Loss、Margin Ranking Loss等进行了对比。RankNet作为pairwise方法的代表，通过预测样本对的相对顺序概率来学习排序，奠定了后续神经网络排序方法的基础。文章还提供了RankNet Loss的代码实现，帮助读者理解其具体应用。
2026-03-23 09:59:27
217
原创 损失函数大汇总（二十九）（ListMLE Loss附公式推导与代码）
ListMLE 全称一般写作 **Listwise Maximum Likelihood Estimation Loss**。从名字就能看出来，它的核心是最大似然。
2026-03-23 09:52:34
178
原创 损失函数大汇总（二十八）（ListNet Loss附公式推导与代码）
本文介绍了ListNet Loss这一经典的listwise排序学习方法。与pairwise方法不同，ListNet直接从整张候选列表的角度设计损失函数，通过比较真实排序分布和预测排序分布来优化模型。文章详细阐述了ListNet的核心思想、数学推导及其优势：首先将排序问题视为排列概率分布问题，然后采用Top-1概率近似降低计算复杂度，最终形成基于交叉熵的损失函数。文章还分析了ListNet与BPR、ListMLE等方法的区别，指出ListNet通过softmax作用在候选列表上，优化整组样本的相对竞争关系。
2026-03-23 09:47:54
603
原创 损失函数大汇总（二十七）（BPR Loss附公式推导与代码）
BPR Loss（贝叶斯个性化排序损失）是一种用于隐式反馈推荐系统的经典损失函数。其核心思想是通过三元组(u,i,j)学习用户对正样本物品i（交互过）的偏好高于负样本物品j（未交互过）。数学表达式为-∑logσ(ẍui-ẍuj)，其中σ为Sigmoid函数。该损失通过最大化正负样本分数差来实现排序优化，特别适合只有用户正向行为（如点击、购买）而无显式负反馈的场景。相比Margin Ranking Loss，BPR Loss具有平滑特性，即使排序正确也会根据分差提供连续梯度。文中还详细推导了其贝叶斯背景和梯度
2026-03-23 09:45:21
503
原创 损失函数大汇总（二十六）（Margin Ranking Loss附公式推导与代码）
Margin Ranking Loss（间隔排序损失）是一种用于优化相对顺序的损失函数，核心思想是要求正确的分数不仅高于错误分数，还需保持一定的安全间隔（margin）。它适用于排序、匹配和比较任务，如推荐系统、相似度学习和对比学习。 该损失函数处理一对分数（x₁, x₂）和顺序标签（y ∈ {−1, +1}），定义如下： $$ \mathcal{L}_{\text{rank}} = \max(0, -y(x_1 - x_2) + m) $$ 其中，y=1表示x₁应大于x₂，y=-1反之，m为间隔阈值
2026-03-23 09:42:22
550
原创 损失函数大汇总（二十三）（Label Smoothing Loss附公式推导与代码）
摘要 Label Smoothing Loss是一种改进交叉熵损失的方法，通过软化one-hot标签来缓解模型过度自信问题。它将原始标签与均匀分布进行凸组合，构造平滑目标分布（如[0.02,0.02,0.92,0.02,0.02]），使模型学习更稳健的概率输出。该方法相当于在标准交叉熵基础上增加均匀正则项，从KL散度角度可理解为拟合更平滑的目标分布。其优势包括实现简单、抑制过拟合、改善概率校准，广泛应用于图像/NLP分类等任务，但需注意平滑系数的调节。核心思想是让模型保持对正确类别的倾向性，同时避免极端on
2026-03-23 09:28:50
552
原创 损失函数大汇总（二十四）（Hinge Loss附公式推导与代码）
摘要 Hinge Loss（合页损失）是一种强调分类间隔的损失函数，核心思想是要求样本不仅分类正确，还要离决策边界足够远。其标准形式为max(0,1-yf(x))，其中y∈{-1,+1}。该损失函数在支持向量机中广泛应用，具有以下特点：1）仅对错分样本和margin内样本产生梯度；2）体现最大间隔思想；3）不直接建模概率。相比Logistic Loss更关注边界鲁棒性而非概率准确性。存在Squared Hinge Loss和多分类扩展形式。虽然深度学习中使用较少，但理解Hinge Loss有助于深入认识分类
2026-03-23 09:28:34
421
原创 损失函数大汇总（二十五）（Squared Hinge Loss附公式推导与代码）
Squared Hinge Loss（平方合页损失）是Hinge Loss的平方版本，通过将线性惩罚改为二次惩罚，对违反间隔约束的样本施加更强的惩罚。其定义为max(0, 1-yf(x))²，当样本分类正确且满足间隔时损失为0；当样本在间隔内或分类错误时，损失随违反程度平方增长。与标准Hinge Loss相比，Squared Hinge Loss的梯度幅度随违反程度增大而增大，更强调修正严重错误的样本。该损失函数适用于需要更强惩罚的场景，但相比Logistic Loss缺乏概率解释。
2026-03-23 09:28:17
509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人