BUG记录Exception: Current loss scale already at minimum - cannot decrease scale anymore. Exiting run.

原创

已于 2023-05-04 11:12:48 修改 · 7.8k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#bug #深度学习 #人工智能

于 2023-03-28 15:05:09 首次发布

我的实验时基于huggingface/diffusers开发的，使用了pytorch_lightning，使用了AMP以及deepspeed zero stage2，初次实验未使用scale learning rate策略，正常运行，没有报错，但是使用了scale_lr之后，报错

Exception: Current loss scale already at minimum - cannot decrease scale anymore. Exiting run.

在网上搜了很多，有用的信息有：

主要思路是skip这个exception，可以追溯的codes: https://gitlab.cl.uni-heidelberg.de/will/fairseq/-/commit/03ef3ab8ce7575ff4501872353dec503dceb199d#313a3e8165b59023666f532b7b5d5844b29e9e90
对应的修改文件
deepspeed.runtime.fp16.loss_scaler
这个错误可能是某些bad batch导致的，有人提供了这样的思路，很遗憾不支持FP16 ：https://github.com/Lightning-AI/lightning/issues/4956
还有人提出将fp16改成bf16（没测试）
观察梯度变化

from lightning.pytorch.utilities import grad_norm


def

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Yupeng5619

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

SlowFast训练自己数据过程中出现的问题

weixin_50924243的博客

04-12

2238

1.执行训练语句时报错 File "/home/vision/mxy1/SlowFast/slowfast/datasets/ava_dataset.py", line 63, in _load_data boxes_and_labels = ava_helper.load_boxes_and_labels( File "/home/vision/mxy1/SlowFast/slowfast/datasets/ava_helper.py", line 101, in load_boxes_and_labe

Dockercompose创建redis主从复制

weixin_43224069的博客

06-29

1236

Dockercompose创建redis主从复制

参与评论您还未登录，请先登录后发表或查看评论

自定义模型与数据进行DeepSpeed-Chat训练

chaishen10000的专栏

06-20

1690

本文将演示如何在DS-Chat代码中使用除facebook opt之外的其他预训练模型，以及如何准备并使用自定义数据进行模型训练，以便训练出针对特定领域或应用的大型模型。本章的主要内容包括以下几点：实验设置介绍：我们将介绍本实验的设置，并为你介绍这样选择的原因，希望能够给你AI技术学习提供一个参考。如何替换模型：我们将介绍如何替换DS-Chat中使用的预训练模型以及如何将自己的预训练模型集成到DS-Chat中。

DeepSpeed训练中的数值溢出问题分析与解决方案

最新发布

gitblog_00407的博客

09-11

442

在使用DeepSpeed进行深度学习模型训练时，经常会遇到数值溢出的问题。具体表现为训练过程中出现"Current loss scale already at minimum - cannot decrease scale anymore"的错误提示。这个问题通常发生在使用混合精度训练（特别是FP16）时，当梯度值变得过大或过小时，超出了浮点数的表示范围。 ## 问题本质这个错误实际上反映的...

loss scale的理解

weixin_45850972的博客

02-25

3331

loss scale的理解

Exception : raise Exception(Current loss scale already at minimum - cannot d

jacke121的专栏

07-05

1858

Exception : raise Exception(Current loss scale already at minimum - cannot d

Current loss scale already at minimum - cannot decrease scale anymore. Exiting run

博客

11-13

2083

中的“fp16”中的“enable”改为false。

redis(五) 集群模式---cluster模式（cluster）

仗剑执天涯的专栏

06-27

1284

3主3从的6个服务，没对主从不需要replicaof 指定，需要masterauth 密码相互授权。ClusterServersRedissonConfig 配置。ClusterLettuceRedisConfig 配置。6个节点，构成3主3从集群模式。可以在任意节点上执行。

【教程】Linux安装Redis步骤记录或升级

我是Superman丶的博客

07-31

981

将解压之后的redis目录下的 redis.conf 文件复制到这里。安装redis-7.4.0.tar.gz。执行启动命令选择配置文件。

docker从安装到部署vue+springboot前后端分离项目（一站式）

m0_72618563的博客

07-28

1468

docker怎么部署vue3+springboot前后端分离项目？从docker安装到项目部署，本文一站式解决！

options.allowedHosts[0] should be a non-empty string.

weixin_45043548的博客

02-14

3852

options.allowedHosts[0]

记录一次 NaN in Loss 的解决过程

3D的博客

08-08

7045

前言训练的模型经常数十个epoch后Loss中出现NaN，困扰了很久终于解决了，记录一下。检测我通常会在计算loss.backward()后optimizer.step()前，添加条件判断是否出现NaN： if loss != loss: raise Exception('NaN in loss, crack!') 定位输出参数和梯度同样放在loss.backward()后optimizer.step()前。用于打印网络所有层参数和梯度的最大和最小值，仅在Debug时使用： # pri

解决pytorch分布式训练loss异常（过大、过小）

qq_42759243的博客

04-07

1581

2. 查看代码中是否使用了mmdet.core.reduce_mean()、torch.distribute.all_reduce()，输入的数据一定是8字节的！3. 如果使用了mmdet框架，mmdet.models.detectors.base.py.BaseDetector._parse_losses也调用了all_reduce()，这里记得修改。1. 首先排除学习率设置不合理、输入的数据（图片、点云、标签）是否完整、loss计算是否出现分母为0的情况。

训练数据集的一些坑

weixin_55749979的博客

03-02

1064

Ubuntu训练数据集

Pytorch中遇到的BUG

飞的博客

07-12

519

BUG1：出现如下错误： ValueError: Expected more than 1 value per channel when training, got input size [1, 5,1,1] 这个是在使用BatchNorm时不能把batchsize设置为1，一个样本的话y = (x - mean(x)) / (std(x) + eps)的计算中，xmean(x)导致输出为0，注...

运行deepspeech训练，报出如下错误，不知道如何解决

weixin_45666880的博客

10-29

812

尝试卸载mindspore和scipy，再重新安装mindspore，mindspore会自动安装版本匹配的scipy。我所创建的env中，GLIBCXX的版本最高为3.4.29，不知道该怎么处理这个问题。

DeepSpeed配置参数 - 快速上手

热门推荐

O_1CxH的博客

02-14

1万+

针对DeepSpeed的几组重要的参数进行说明

Pytorch混合精度训练

whaosoft143ai的博客

09-24

4805

FP16(半精度浮点数)表示能够提升拥有TensorCore架构的GPU的计算速度(V100)。有很多相关介绍对其运作原理和使用方法进行了说明，本文就不再赘述。其优点可以概括为2点：1）FP16只占用通常使用的FP32一半的显存。2）NVIDIA V系列GPU在对FP16计算速度比FP32快上许多（实际加速比根据混合精度使用策略的不同存在差异）。

::-webkit-inner-spin-button没有这个，上下箭头是这个.el-input-number.is-controls-right .el-input-number__increase, .el-input-number.is-controls-right .el-input-number__decrease

06-26

在 Vue 项目中使用 Element UI 的 `el-input-number` 组件时，若希望修改或隐藏输入框右侧的上下箭头（即浏览器默认的 `::-webkit-inner-spin-button` 控件），可以通过自定义 CSS 样式实现。由于该伪元素仅适用于基于 WebKit 内核的浏览器（如 Chrome 和 Safari），因此需要结合 `-webkit-appearance` 属性进行样式重置，并通过其他属性控制其显示状态。以下为具体实现方式： ### 隐藏上下箭头要隐藏默认的上下箭头，可以使用如下样式规则： ```css input[type="number"]::-webkit-inner-spin-button, input[type="number"]::-webkit-outer-spin-button { -webkit-appearance: none; margin: 0; } ``` 此规则移除了浏览器默认的控件外观，并清除了外边距以确保布局不受影响 [^2]。 ### 在 Firefox 中兼容性处理 Firefox 浏览器不支持 `::-webkit-inner-spin-button`，但可以通过设置 `-moz-appearance` 来隐藏数字输入框的上下按钮： ```css input[type="number"] { -moz-appearance: textfield; } ``` 这样可确保在不同浏览器下保持一致的外观 [^1]。 ### 在 scoped 样式中穿透子组件如果样式作用域为 `scoped`，则上述规则不会直接生效于 `el-input-number` 内部的原生 `<input>` 元素。此时需使用 `::v-deep` 或 `:deep()` 实现样式穿透： ```css ::v-deep(input[type="number"]::-webkit-inner-spin-button), ::v-deep(input[type="number"]::-webkit-outer-spin-button) { -webkit-appearance: none; margin: 0; } ::v-deep(input[type="number"]) { -moz-appearance: textfield; } ``` 此方式允许在组件级样式中覆盖 Element UI 子组件的内部结构 [^3]。 ### 恢复默认行为或自定义显示逻辑若希望仅在鼠标悬停时显示上下控件，可进一步扩展样式规则： ```css input[type="number"]::-webkit-inner-spin-button { display: none; } input:hover[type="number"]::-webkit-inner-spin-button { display: inline-block; } ``` 通过这种方式，可以在用户交互时恢复默认控件的显示效果，同时保持界面整洁 [^4]。 ---