深度学习参数和loss总结

最新推荐文章于 2025-04-21 19:37:19 发布
最新推荐文章于 2025-04-21 19:37:19 发布
阅读量1.1k 收藏 3
点赞数 2
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/clearsky767/article/details/100139627
版权

AI不惑境  -  学习率和batchsize如何影响模型的性能？

https://zhuanlan.zhihu.com/p/64864995

【AI不惑境】残差网络的前世今生与原理

https://mp.weixin.qq.com/s?__biz=MzA3NDIyMjM1NA==&mid=2649033134&idx=1&sn=69a5be0c1677e55a0311269b0e481242&chksm=8712b7d3b0653ec5211cfd57364bb7d4b8073e620f00f04de734ae2ae7b2e9179ae9d1468e58&token=1855353646&lang=zh_CN#rd

AI不惑有一系列 还有些深度的文章 推荐读读。

通过不断重置学习率来逃离局部极值点

https://blog.youkuaiyun.com/malefactor/article/details/78768210

 

你的模型真的陷入局部最优点了吗？

https://www.jiqizhixin.com/articles/2018-07-29-6

如何找到全局最小值？先让局部极小值消失吧

https://www.baidu.com/link?url=h3WNxKyhzoO3cUQFqtMEG2_Z518nZqBHjH1MPfU-RShNevrXMutXQvsTICDFEi-f&wd=&eqid=dbec404300008142000000045d677970

梯度下降学习率的设定策略

https://lumingdong.cn/setting-strategy-of-gradient-descent-learning-rate.html

Must Know Tips/Tricks in Deep Neural Networks阅读笔记

https://www.baidu.com/link?url=2PW2nHe1nOd9aRI5yOgNztv_C8XXajkvf6sKCNfDSpLKypUhmUog_phVUPA4Oq-OlKAPKaF_-XSLXot-brPB5q&wd=&eqid=dbec404300008142000000045d677970

如何避免陷入鞍点（局部最小）

https://blog.youkuaiyun.com/lfc2017/article/details/84864302

理解DL的局部最小

https://blog.youkuaiyun.com/JeremyCzh/article/details/80100601

深度学习基础--BP和训练--局部最优和鞍点

https://blog.youkuaiyun.com/wydbyxr/article/details/84025446

机器学习--“跳出”局部最小值

https://blog.youkuaiyun.com/qq_20880939/article/details/79814931

深度学习 - 解决局部最优点问题的方案

https://blog.youkuaiyun.com/maqunfi/article/details/82634529

深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）

https://zhuanlan.zhihu.com/p/22252270

人脸识别损失函数综述（附开源实现）

https://zhuanlan.zhihu.com/p/51324547

人脸识别的损失函数解读

https://blog.youkuaiyun.com/qq_33948796/article/details/89309893

医学图像分割常用的损失函数

https://blog.youkuaiyun.com/Biyoner/article/details/84728417

 

 

 

 

 

深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 32万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
深度学习基础（三）loss函数
u010554381的博客
03-13 2万+
loss函数，即损失函数，是决定网络学习质量的关键。若网络结构不变的前提下，损失函数选择不当会导致模型精度差等后果。若有错误，敬请指正，Thank you！ 目录 一、loss函数定义 二、常见的loss算法种类 1.MSE(均值平方差) 2.交叉熵 三、总结 四、tensorflow相应函数 1.MSE 2.交叉熵 一、loss函数定义 loss函数的作用就是描述模...
深度学习 loss
qq_29133371的博客
10-12 2001
深度学习-损失函数 python opencv源码（史上最全）
FJN110的博客
04-12 785
损失函数又叫误差函数、成本函数、代价函数，用来衡量算法的运行情况，用符号L表示。假设我们的回归函数是：y = wx+b,那么损失函数的作用就是用来获取误差，然后来更新w和b，从而使预测值y更贴近真实值。也就是训练过程就是让这个损失越来越小的过程（最小化损失函数）。作用：1衡量模型性能 2优化参数（w和b）
深度学习之——损失函数（loss)
GWENGJING的博客
09-09 1万+
本文的目的介绍损失函数，以及它们的基本原理。
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
qq_40280673的博客
11-08 2万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
深度学习-损失函数
最新发布
ZHINV_的博客
04-21 618
当输出层使用softmax多分类时，使用交叉熵损失函数；当输出层使用sigmoid二分类时，使用二分类交叉熵损失函数， 比如在逻辑回归中使用；当功能为线性回归时，使用均方差损失-L2 loss；
深度学习loss
weixin_45706801的博客
07-25 2022
是 PyTorch 中的一个类，它实现了将 Sigmoid 激活函数和二元交叉熵损失函数合并的功能。这个损失函数接受两个输入：模型的原始输出（未经 Sigmoid 激活）和目标（真实）标签，然后自动计算损失值。由于它在内部集成了 Sigmoid 激活函数，因此可以避免在正向和反向传播过程中可能出现的梯度爆炸或梯度消失问题。是 PyTorch 中一个用于二元分类问题的强大损失函数，它通过结合 Sigmoid 激活函数和二元交叉熵损失函数，提高了训练的效率和数值稳定性。
【总结】深度学习中的LOSS
youzhizhe2014的博客
12-07 2485
【总结】深度学习中的损失函数 1. 铰链损失/合页损失 Hinge Loss SVM常用损失函数 函数表达式 L(y,f(x))=max(0,1−y⋅f(x))L(y,f(x)) = max(0,1-y·f(x))L(y,f(x))=max(0,1−y⋅f(x)) 函数图像 通过上图可知，当y⋅f(x)>1y·f(x)>1y⋅f(x)>1时，loss=0loss=0loss=0；否则，loss=1−y⋅f(x)loss=1-y·f(x)loss=1−y⋅f(x)。也就是说，只有被
深度学习最全面试题总结（一）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-04 2万+
导读：本系列深度学习面试题系列总结，资料集合包含机器学习、深度学习等各系列常见问题，可配合下列资料一起学习，内容参考Github及网络资源，仅供个人学习。侵权联系删除！
深度学习之损失(Loss)函数的介绍【详解】
qq_23022733的博客
06-30 6076
深度学习之损失函数的介绍
深度学习学习——loss函数的实现
m0_37876745的博客
10-18 958
关于focal loss的一些介绍： 处理样本不平衡LOSS—Focal Loss Focal Loss 的Pytorch 实现以及实验 处理样本不平衡LOSS—Focal Loss pytorch实现一些loss函数：pytorch实现LOSS focal loss的简单版：带权重的loss：【算法实验】使用带权重交叉熵损失函数定向提升模型的召回率 ...
【深度学习】cv领域中各种loss损失介绍
weixin_44984705的博客
01-04 1343
CV领域常用的损失函数介绍。如MSELoss/BCELoss/IOULoss/SmoothL1Loss等。
深度学习常见loss函数
yunyi4367的博客
05-02 3256
出自cs231n第三讲 常见的loss函数 1. 2. 为了防止过拟合，可以loss函数表达式中加入正则项
一篇文章让你彻底搞懂深度学习 - 损失函数（Loss Function）
2401_84204207的博客
03-04 1419
衡量预测结果与真实结果之间差异的函数。它通过计算模型的回归损失和分类损失99，回归损失主要处理连续型变量，常用等，对异常值敏感度不同；分类损失主要处理离散型变量，常用等，适用于不同分类任务需求。**
[深度学习] loss不下降的解决方法
Miracle8070
04-27 3026
转载一篇文章， 下面是原文章地址，方便后面查阅时方便： 链接：https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-...
[深度学习] - 通用网络模型训练过程的 loss 变化分析方法 (loss / val_loss / test_loss)
热门推荐
Eden Garden
11-27 5万+
理解训练过程中 loss 变化情况 (loss / val_loss / test_loss)
Training Loss and Validation Loss in Deep Learning
wuyy0224的博客
03-02 1219
Answer-1: Really a fundamental question in machine learning. If validation loss >> training loss you can call it overfitting. If validation loss > training loss you can call it some overfitting. If validation loss < training loss you can c
深度学习cache参数
03-18
### 关于深度学习中的缓存（Cache）及其作用 在深度学习领域，尤其是涉及 GPU 加速计算时，“缓存”的概念非常重要。以下是关于 `torch.cuda.empty_cache()` 和其他与缓存相关的参数配置的作用和使用说明。 #### 1. `torch.cuda.empty_cache()` 的功能及意义 `torch.cuda.empty_cache()` 是 PyTorch 提供的一个函数，用于释放未使用的 CUDA 缓存内存[^1]。当执行某些操作后，GPU 上可能会保留一些不再需要的内存分配。这些内存虽然已经被标记为可重用，但在实际运行中可能不会立即返回到操作系统。通过调用此函数可以手动清理这部分内存，从而优化资源利用效率。 需要注意的是，该方法仅适用于清除由 PyTorch 自己管理的部分缓存，并不能回收正在被张量或其他对象占用的实际显存空间。因此，在大多数情况下，它主要用于调试阶段或者应对特定场景下的显存不足问题。 ```python import torch # 假设已经完成了一部分训练过程并希望释放多余缓存 torch.cuda.empty_cache() ``` --- #### 2. 配置 Cache 对性能的影响 除了上述提到的手动干预手段外，合理设置硬件驱动程序以及软件环境也能显著改善整体表现： - **NVIDIA 显卡支持** 借助 NVIDIA 提供的 CUDA 工具包，开发者能够轻松实现从 CPU 到 GPU 数据传输的任务转换[^3]。这一步骤本身即包含了对于内部缓冲区的有效调度机制——即将频繁访问的数据预先加载至更快捷的位置以便后续快速检索处理。 - **自动混合精度 (AMP)** 现代框架还引入了一些高级特性比如 AMP 技术来进一步减少所需存储容量的同时维持较高精确度水平。这种方法背后同样依赖着复杂的中间状态保存策略作为支撑基础之一[^2]。 --- #### 3. 实际应用场景举例分析 下面给出一段简单的代码片段展示如何结合以上知识点构建更高效的解决方案: ```python from torch import nn, optim device = 'cuda' if torch.cuda.is_available() else 'cpu' model = YourModel().to(device) criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) for epoch in range(num_epochs): model.train() for inputs, labels in dataloader: optimizer.zero_grad() outputs = model(inputs.to(device)) loss = criterion(outputs, labels.to(device)) loss.backward() # 更新权重前先尝试清空无用缓存以节省更多可用资源 with torch.no_grad(): torch.cuda.empty_cache() optimizer.step() ``` 在这里可以看到我们在每次梯度下降之前加入了额外的操作步骤用来保障整个流程更加顺畅稳定地推进下去。 --- ### 总结 综上所述，无论是通过内置 API 如 `torch.cuda.empty_cache()` 来主动控制还是依靠底层架构自带优势共同协作配合都可以有效提升基于 GPU 平台之上开展的大规模机器学习项目成果质量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值