深度学习——loss函数的学习笔记（legacy）

最新推荐文章于 2024-09-27 13:30:27 发布
最新推荐文章于 2024-09-27 13:30:27 发布
阅读量481 收藏
点赞数
分类专栏： 目标检测 《深度学习笔记》 文章标签： loss函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/songyuc/article/details/106731929
版权
本文详细介绍了在PyTorch中使用log()函数时的注意事项，特别是在计算交叉熵等损失函数时，如何避免因输入为0或负数而导致的数值不稳定问题。文章强调了使用clamp()函数的重要性，以确保log()函数的稳定性和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


 

3 备注

3.1 使用torch.log()前，需要进行clamp

在写作loss函数时，经常会使用torch.log()函数，例如计算交叉熵时；

在PyTorch中，在使用torch.log()前，记得需要进行clamp操作，

因为log()函数在0和负数的情况下，会出现不稳定的数值结果，

如图所示

 

torch.log函数
jacke121的专栏
09-17 5万+
torch.log(torch.Tensor([1]) 结果：0，任何数的0次方，为1 torch.log是以自然数e为底的指数函数。 torch.log(torch.Tensor([2.7])=0.999 import numpy as np import torch from numpy.core.defchararray import count import math a...
深度学习常用loss函数（原理、特点）
Yezy
04-21 410
参照文章：https://zhuanlan.zhihu.com/p/77686118
深度学习常见loss函数
yunyi4367的博客
05-02 3245
出自cs231n第三讲 常见的loss函数 1. 2. 为了防止过拟合，可以loss函数表达式中加入正则项
【机器学习与深度学习理论要点】21. 损失函数及作用，交叉熵及作用？
yegeli的博客
08-16 742
1） 什么是损失函数，损失函数的作用是什么？ 损失函数，用来度量预测值和实际值之间的差异，从而作为模型性能参考依据。损失值越小，说明预测输出和实际结果之间的差值就越小，也就说明我们构建的模型越好，反之说明模型越差。 2）什么是交叉熵，其作用是什么？ 交叉熵主要用于度量两个概率分布之间的差异信息，在机器学习中用来作为分类问题的损失函数，当预测概率越接近真实概率，该函数值越小，反之越大。 ...
机器学习基本概念
qq_28565767的博客
05-05 185
Kreas中文文档：https://keras-cn.readthedocs.io/en/latest/legacy/models/model/ 一、基本概念 1.顺序模型Sequential与泛型模型Model Keras有两种类型的模型，顺序模型Sequential与泛型模型Model。在原本的Keras版本中，模型其实有两种，一种叫Sequential，称为序贯模型，也就是单输入单输...
深度学习干货学习（1）——center loss
Lucifer_zzq的博客
07-27 9846
在构建loss时pytorch常用的包中有最常见的MSE、cross entropy（logsoftmax+NLLLoss）、KL散度Loss、BCE、HingeLoss等等，详见：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions 这里主要讲解一种考虑类间距离的Cente...
# 深度学习笔记（6）Hugginface -Transformer
hanliu2003的博客
09-18 1194
在这个例子中，标签的值类型是ClassLabel，它是一个特殊的类型，表示分类特征，并且具有一个名为names的属性，它是一个列表，包含了标签的可能值（在这个例子中是[‘not_equivalent’, ‘equivalent’]）。'attention_mask中为1的是 作attention的时候要去算的，为1的就是要去算的，为0就是不去算的，比如第二句话后面补0的都是没意义的，所以没必要算。在某些情况下，这可能是有用的，比如当警告信息对当前任务不重要，或者在调试过程中想要忽略特定的警告。
AIGC学习笔记—minimind详解+训练+推理
最新发布
m0_56569131的博客
09-27 3821
这个开源项目是带我的一个导师，推荐我看的，记录一下整个过程，总结一下收获。这个项目的slogan是“大道至简”，确实很简。作者说是这个项目为了帮助初学者快速入门大语言模型（LLM），通过从零开始训练一个仅26MB的微型语言模型MiniMind，最快可在3小时内完成。降低学习LLM的门槛，让更多人能够轻松上手。MiniMind极其轻量，约为GPT-3的1/7000，适合普通个人GPU进行快速推理和训练。
文本情感分析学习笔记Task1：RNN(baseline)
Ryan_Xu的博客
09-16 460
'''数据预处理''' import torch # 导入自带数据集 from torchtext.legacy import data # 设置随机种子数 SEED = 1234 # 设置随机种子，保证可重复 torch.manual_seed(SEED) #为GPU设置随机种子（来自知乎） torch.cuda.manual_seed(SEED) # 在程序刚开始加这条语句可以提升一点训练速度，没什么额外开销。 torch.backends.cudnn.deterministic = True
学习笔记|Pytorch使用教程14(损失函数(一))
qq_24739717的博客
11-04 450
学习笔记|Pytorch使用教程14 本学习笔记主要摘自“深度之眼”，做一个总结，方便查阅。 使用Pytorch版本为1.2 损失函数概念 交叉熵损失函数 NLL/BCE/BCEWithLogits Loss 一.损失函数概念 损失函数:衡量模型输出与真实标签的差异 损失函数(Loss Function) : Loss=f(y∧,y)Loss=f\left(y^{\wedge}, y\ri...
18种损失函数全详解及其PyTorch实现与机制
nstarLDS的博客
03-09 1万+
文章目录基础概念损失函数(Loss Function)代价函数(Cost Function)目标函数(Objective Function)PyTorch实现与机制nn.CrossEntropyLoss功能与使用数学原理信息熵相对熵（KL散度）交叉熵使用实例nn.NLLLoss()功能与使用数学原理nn.BCELoss()功能与使用数学原理nn.BCEWithLogitsLoss()nn.L1Lo...
YOLO-V3-SPP 训练loss计算源码解析之compute_loss
qq_38109282的博客
08-09 1694
前言 理论详解：YOLO-V3-SPP详细解析 该函数需要了解dataloader那边筛选出来的gt，即build_targets函数 compute_loss 主要讲解model的pred和筛选的gt进行loss计算过程，包括正负样本的区分，以及二支交叉熵loss和forcal loss的转换及使用代码，还有关于IOU的计算。 讲解形式结合图文信息，不会那么枯燥，尽量形象点。 源码 def compute_loss(p, targets, model): # predictions, targets,
损失函数loss大总结
热门推荐
年轻即出发，
06-23 11万+
分类任务loss: 二分类交叉熵损失sigmoid_cross_entropy： TensorFlow 接口： tf.losses.sigmoid_cross_entropy( multi_class_labels, logits, weights=1.0, label_smoothing=0, scope=None, loss_c...
深度学习loss函数理解
luo2007专栏Gods determine what you're going to be！
09-29 4万+
监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的
深度学习中常见的LOSS函数及代码实现
weixin_40756000的博客
06-18 4061
Introduction 训练深度学习模型地目的只有一个，尽可能地学习到训练数据的分布。像往常地考试一样，考试成绩会有一个分数作为评判标准，评价你对于知识点地掌握情况，以便后续针对性地去学习。深度学习也一样，需要一个数值对训练的效果进行评价。 在有监督学习中，这个数值也就是评价标准被称作loss值，即损失值。对于给定的输入xxx，对应标签值为yyy。定义深度学习模型的映射为f(x;θ)f(x;\theta)f(x;θ)。输出的预测值为y^\hat{y}y^​，损失函数LossLossLoss是用来计算便签值
深度学习（神经网络）训练时loss不变的可能原因
weixin_44405644的博客
05-19 5万+
一、训练背景 模型采用简单的四层linear以及Relu、Sigmoid，实现二分类问题 loss采用的是交叉熵和Focal loss(测试Focal loss性能) 优化方式采用的是Adam+StepLR 二、LOSS不变的原因 1. 背景：训练集和测试集的loss都不变了、训练集的loss完全不变(是严格的不变了) 2.loss不变的处理办法 1. 首先参考网上的策略 -1. 数据本身的问题：可以尝试使用其他的数据处理方法，例如归一化或者规范化等(不能没有，不能全靠Adam呀) -2. 初始化权重
[深度学习]深度学习框架总结
图解AI
04-16 1万+
深度学习库比较 库名 主语言 从语言 速度 灵活性 文档 适合模型 平台 上手难易 开发者 模式 Tensorflo C++ cuda/python/Matlab/Ruby/R 中等 好 中等 CNN/RNN Linux,OSX 难 Google 分布式/声明式 Caffe C++ cuda/pytho
【深度学习】一文读懂机器学习常用损失函数（Loss Function）
haima1998的专栏
07-21 1679
转自：https://www.cnblogs.com/guoyaohua/p/9217206.html 　损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： 　　其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的Φ是正则
强化学习的学习之路（二十八）_2021-01-28：Rainbow
热爱可抵漫长岁月
02-26 729
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看优快云的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ 接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQ
Tensorflow2.9.0深度学习框架完整离线安装包指南
资源摘要信息:"深度学习Tensorflow2.9.0离线安装完整包（包括需要的依赖包）" 在进行深度学习项目开发时，TensorFlow 框架是不可或缺的工具之一。TensorFlow 是一个开源的机器学习和深度学习库，由 Google 的人工...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值