各种loss简介-待更新

最新推荐文章于 2025-09-05 15:02:45 发布
原创 最新推荐文章于 2025-09-05 15:02:45 发布 · 4.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1.nn.MSEloss: 均方误差，X和Y维度要一致（可以是向量或者矩阵），i是下标 

loss(X, Y) =1/N {(X1 - Y1)的平方+(X2 - Y2)的平方+....+(XN - YN)的平方}

MSE值越小，说明模型拟合实验数据的能力越强

2.nn.BCEloss: 二分类的交叉熵，用的时候在该层前面要+sigmoid函数

loss(Xi, Yi) = -Wi[Yi logXi + (1-Yi)log(1-Xi)] 

X/Y可以是向量或者矩阵，i是下标，Xi表示第i个样本预测为正例的概率，Yi表示第i个样本的标签

Wi表示该项的权重大小， loss/W/X/Y维度都一样微笑


推荐系统[4.1]：Ranking Loss 函数：度量学习、Siamese 和 triplet 网络、RankNet、pair-wise、List-wise loss以及在深度学习框架中loss设计
丨汀、的博客
07-26 1678
推荐系统[4.1]：Ranking Loss 函数：度量学习、Siamese 和 triplet 网络、RankNet、pair-wise、List-wise loss以及在深度学习框架中loss设计
计算机视觉：少样本学习（Few-Shot Learning）在视觉中的应用
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
06-04 4万+
计算机视觉：少样本学习（Few-Shot Learning）在视觉中的应用 ，人工智能，计算机视觉，大模型，AI，少样本学习（Few-Shot Learning, FSL）应运而生，其目标是利用极少量的标注样本训练模型，使模型能够对新的样本进行准确分类或预测。这一技术模拟人类从少量示例中快速学习并泛化到新情况的能力，为解决数据稀缺问题提供了有效的途径，在计算机视觉领域展现出巨大的潜力和应用价值。
深度学习 loss
10-12
深度学习 loss总结
Loss
weixin_43332432的博客
11-12 221
Summary of Paper “WHAT’S IN A LOSS FUNCTION FOR IMAGE CLASSIFICATION?” Different losses and regularizers achieve broadly similar accuracies. Although the acuuracy differences are larger enough to be meaningful in some contexts, the largerst difference is
深度学习篇---常见的损失函数
最新发布
道阻且长，行则将至。
09-05 1055
摘要：本文介绍了PyTorch中7种常用损失函数的特点及应用场景。均方误差（MSELoss）和小绝对误差（L1Loss）适用于回归问题，前者对异常值敏感，后者鲁棒性强；交叉熵损失（CrossEntropyLoss）和二元交叉熵（BCELoss）分别用于多分类和二分类任务；平滑L1损失结合了L1和L2的优点；余弦相似度损失则适合度量学习任务。文章通过代码示例展示了各损失函数的实现方式，并给出了选择建议。
数学理论-loss
Ashinhuang的博客
11-09 592
LR loss 的深入理解-3种 1、首先了解一下三种不同的loss函数 平方损失： 交叉熵（最大似然损失函数） 在教科书中，似然常常被用作“概率”的同义词。但在统计学中，二者截然不同。 概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量时， 未知参数的可能取值。 例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次，落地都是正面向上”这种事件，我们则可以问，这枚硬币正反面对称的“似然”程度是多少 2、交叉熵与
各种 loss 学习笔记
DiLLVeRsE的博客
06-07 1226
各种 loss 学习笔记Large Margin Cosine LossAdditive Angular Margin LossAdaptive Cosine-based Loss 之间已经介绍过几个比较经典的 loss function 啦，这里再补充三个最近看到的 loss function。 Large Margin Cosine Loss 这个 loss function 的提出，基本思想...
深度学习基础（三）loss函数
u010554381的博客
03-13 2万+
loss函数，即损失函数，是决定网络学习质量的关键。若网络结构不变的前提下，损失函数选择不当会导致模型精度差等后果。若有错误，敬请指正，Thank you！ 目录 一、loss函数定义 二、常见的loss算法种类 1.MSE(均值平方差) 2.交叉熵 三、总结 四、tensorflow相应函数 1.MSE 2.交叉熵 一、loss函数定义 loss函数的作用就是描述模...
Triplet Loss 代码实践 (Tensorflow2/Keras)
November、Chopin
10-24 1760
Tensorflow2/Keras Triplet Loss 代码实践
多模态信息中的神经网络集成学习方式(个人笔记-持续更新)
AI训练师中的点滴
04-29 3201
Gradient Boosting
机器学习17:Faster R-CNN简介
weixin_39504171的博客
01-07 5524
机器学习17:Faster R-CNN简介（转载整理） 知乎上的这篇文章对于Faster R-CNN介绍的非常详细：知乎文章链接，这篇文章比较偏重于Faster R-CNN的原理解释，本文主要整理了Faster R-CNN的改进和在FastR-CNN基础上的创新。 1.Faster R-CNN概述： Faster-RCNN是2015年提出的第...
关于图像质量评价的函数。正则均方误差nmse。
01-06
几个关于图像质量评价的函数。正则均方误差nmse等。可用于去噪图像和压缩图像的质量评价
【CV】常见的损失函数及应用举例：交叉熵、对比、余弦、Dice、Focal Loss
种一棵树最好的时间是十年前，其次是现在
06-25 7907
损失函数的作用是衡量模型预测值与真实值之间的差异，从而评估模型的性能，并通过优化算法（如梯度下降）来调整模型参数，使得损失函数的值最小化，进而提高模型的预测准确性。具体来说，损失函数通常用于监督学习中，给定样本的特征和标签，模型根据特征预测标签，并将预测值与真实值进行比较，计算出损失值。优化过程就是在不断地调整模型参数，使得损失值越来越小。因此，损失函数是优化算法的重要组成部分，它决定了模型优化的方向和速度。
CVPR2018：腾讯AI LAB 基于大间隔余弦损失的人脸识别
shanyicheng1111的博客
04-11 5684
今天的深度学习，最牛的大佬们在改结构，比如Hinton,何凯明很牛的大佬在改损失函数，比如这篇《CosFace: Large Margin Cosine Loss for Deep Face Recognition》牛的大佬在现有的算法上提出层出不穷的新应用而我，在当分母～文章主要创新点就是对人脸识别的损失函数做了优化。首先复习点余弦距离：1、余弦距离余弦距离，也称为余弦相似度，是用向量空间中两个...
损失函数 | BCE Loss（Binary CrossEntropy Loss）
热门推荐
Just_do_myself的博客
03-10 14万+
BCE（Binary CrossEntropy）损失函数图像二分类问题--->多标签分类Sigmoid和Softmax的本质及其相应的损失函数和任务多标签分类任务的损失函数BCEPytorch的BCE代码和示例总结 图像二分类问题—>多标签分类 二分类是每个AI初学者接触的问题，例如猫狗分类、垃圾邮件分类…在二分类中，我们只有两种样本（正样本和负样本），一般正样本的标签y=1，负样本的标签y=0。比如下边这张图片，判断里边有没有人。 那么这张图片的标签为y=1，这时我们就根据标签y=1来设计模型
神经网络学习小记录5——利用Keras进行回归运算
Bubbliiiing的学习小课堂
09-22 4353
神经网络学习小记录5——利用Keras进行回归运算学习前言什么是KerasKeras中基础的重要函数1、Sequential2、Dense3、model.compile全部代码 学习前言 看了好多Github，用于保存模型的库都是Keras，我觉得还是好好学习一下的好。 什么是Keras Keras是一个由Python编写的开源人工神经网络库，可以作Tensorflow、Microsoft-CN...
【PyTorch】Balanced_CE_loss 实现
libo-coder
11-24 1230
balance binary cross entropy损失函数在分割任务中很有用，因为分割任务会遇到正负样本不均的问题，甚至在边缘的分割任务重，样本不均衡达到了很高的比例。故此，个人在基于分割任务中，自实现了该损失函数，亲测有效！
MSELoss详解+避坑指南
Viviane_2022的博客
12-14 1万+
MSELoss详解+避坑指南
yolov5改进VariFocalNet
jacke121的专栏
04-06 1万+
VariFocalNet | IoU-aware同V-Focal Loss全面提升密集目标检测(附YOLOV5测试代码) 准确地对大量候选检测器进行排名是高性能密集目标检测器的关键。尽管先前的工作使用分类评分或它与基于IoU的定位评分的组合作为排名基础，但它们都不能得到可靠地排名结果，这会损害检测性能。 在本文中，作者提出学习可同时表示对象存在置信度和定位精度的IoU感知分类评分（IACS），以在密集对象检测器中产生更准确的检测等级。特别地本文还设计了一个新的损失函数，称为Varifocal损失，.
PSO-BPNN
03-17
### PSO-BPNN 结合的原理及应用 #### 一、PSO算法简介 粒子群优化（Particle Swarm Optimization, PSO）是一种基于群体智能的全局优化算法，其设计灵感来源于鸟类觅食的行为模式。该算法通过模拟一群粒子在多维搜索空间中的运动轨迹来寻找最优解。每个粒子都具有位置和速度属性，并能够根据自身的最佳经验和整个种群的最佳经验动态调整自己的方向和距离[^2]。 #### 二、BP神经网络概述 反向传播神经网络（Back Propagation Neural Network, BPNN）是一种经典的监督学习模型，广泛应用于分类与回归任务中。然而，在实际训练过程中，BP算法可能陷入局部极小值或者面临收敛速度慢等问题。因此，引入其他优化策略成为一种有效的解决方案[^1]。 #### 三、PSO优化BPNN的核心机制 为了克服传统BP算法存在的缺陷，可以利用PSO算法对BPNN的初始权值和阈值进行初始化或在线更新操作。具体而言： - **参数编码**：将待调优的所有连接权重以及节点偏置组合成一个多维度向量表示每一个个体的位置坐标； - **适应度函数定义**：通常选取均方误差(MSE)作为衡量当前网络输出接近真实标签程度的标准指标； - **迭代寻优流程**： - 初始化随机分布于可行域内的若干候选方案构成初始种群； - 计算各成员对应的目标值并记录个人最好成绩pbest及时代集体最优lbest/gbest； - 更新每只飞虫的速度矢量v[k+1]=w*v[k]+c1*rnd*(pbest-x[k])+c2*RND*(gbest-x[k])其中w惯性权重控制探索开发平衡；c1认知因子反映自我记忆影响力度；c2社会因子体现协作共享信息效用；rnd,RND分别代表0到1之间均匀采样的独立同分布伪随机数列； - 移动至新地点重新评估直至满足终止条件比如达到最大允许循环次数上限或是连续多次精度改善幅度低于设定容忍界限为止。 #### 四、案例分析——电力负荷预测实例说明 以某火力发电厂日常运营监测为例展示如何借助MATLAB平台完成从原始数据预处理到最后可视化成果呈现全过程。此项目提供了完整的脚本文件夹结构便于使用者快速上手实践检验效果差异显著之处在于采用标准梯度下降法单独调试所得结果对比经由改进版混合型框架得出更佳拟合曲线走势平稳减少震荡现象发生频率提高长期稳定性表现水平[^3]。 ```matlab % MATLAB Code Example for PSO-BPNN Implementation clc; clear all; load('powerPlantData.mat'); % Load dataset X = data(:,1:end-1); Y = data(:,end); %% Preprocessing Step scaler_X = normalize(X); scaler_Y = normalize(Y); %% Define ANN Structure & Initialize Weights Using Random Values Within Range [-1,+1] net = feedforwardnet([10]); view(net) %% Set Up Custom Training Function Based On Hybrid Approach Combining Both Techniques Together customTrainFcn = @(net,X,T,options) trainpso_bpnn(net,X,T,options); options.trainParam.showWindow=false; [trainedNet,tr] = customTrainFcn(net, scaler_X', scaler_Y'); %% Post Processing And Evaluation Metrics Calculation YPred = net(scaler_X'); RMSE = sqrt(mean((Y'-YPred).^2)); disp(['Root Mean Square Error : ', num2str(RMSE)]); plot(tr.perf,'r-o'), title('Performance Curve During Iterations') legend('Training Loss Over Epochs') xlabel('#Epochs'), ylabel('Loss Value') function [net,tr] = trainpso_bpnn(net,X,T,param) ... end ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值