accelerator.backward（loss）与loss.backward()区别

最新推荐文章于 2025-12-11 08:58:14 发布

原创最新推荐文章于 2025-12-11 08:58:14 发布 · 298 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

accelerator一种用于加速数据处理和机器学习任务的工具，其中汇集了各种各样的训练、优化相关的工具。accelerator.backward（loss）基于GradientAccumulationPlugin实现梯度缩放，并按照配置文件调用正确的backward()函数，求取模型参数梯度。生成环境中，应该使用accelerator.backward（loss）代替loss.backward()求取梯度！

一句话： accelerator.backward（loss）>= loss.backward()

案例使用：

        >>> from accelerate import Accelerator

        >>> accelerator = Accelerator(gradient_accumulation_steps=2)
        >>> outputs = model(inputs)
        >>> loss = loss_fn(outputs, labels)
        >>> accelerator.backward(loss)