APEX--pytorch中的运用

最新推荐文章于 2024-12-17 10:38:53 发布

摸鱼的肚子

最新推荐文章于 2024-12-17 10:38:53 发布

阅读量895

点赞数

分类专栏： detectron2 mmdetection学习文章标签： pytorch python 深度学习

本文链接：https://blog.youkuaiyun.com/weixin_45216013/article/details/125471009

版权

detectron2 同时被 2 个专栏收录

5 篇文章

订阅专栏

mmdetection学习

3 篇文章

订阅专栏

APEX是英伟达为PyTorch提供的开源库，主要功能是通过Automatic Mixed Precision（amp）减少模型在GPU上的显存占用。amp允许大部分操作使用Float16数据类型，部分关键操作仍保持Float32，从而在不牺牲精度甚至提升精度的同时，加快训练速度。用户只需简单三行代码即可实现迁移。opt_level参数有四个级别，从O0到O3，O1是最推荐的级别，O3虽然能提供最快速度但可能损失精度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

APEX是英伟达开源的，完美支持PyTorch框架，用于改变数据格式来减小模型显存占用的工具。其中最有价值的是amp（Automatic Mixed Precision），将模型的大部分操作都用Float16数据类型测试，一些特别操作仍然使用Float32。并且用户仅仅通过三行代码即可完美将自己的训练代码迁移到该模型。实验证明，使用Float16作为大部分操作的数据类型，并没有降低参数，在一些实验中，反而由于可以增大Batch size，带来精度上的提升，以及训练速度上的提升。

考察amp.initialize(net, optimizer, opt_level=“O1”)的opt_level参数：
opt_level=O0(base)
表示的是当前执行FP32训练，即正常的训练

opt_level=O1(推荐)
表示的是当前使用部分FP16混合训练

opt_level=O2
表示的是除了BN层的权重外，其他层的权重都使用FP16执行训练

opt_level=O3
表示的是默认所有的层都使用FP16执行计算，当keep_batch norm_fp32=True，则会使用cudnn执行BN层的计算，该优化等级能够获得最快的速度，但是精度可能会有一些较大的损失

一般我们用O1级别就行，最多O2，注意，是欧不是零

原文链接：https://blog.youkuaiyun.com/qq_34914551/article/details/103203862
https://www.cnblogs.com/ice-coder/p/12776259.html#