Pytorch Lightning 之 amp_level

最新推荐文章于 2024-06-01 13:44:32 发布
最新推荐文章于 2024-06-01 13:44:32 发布
阅读量1.7k 收藏 1
点赞数 3
分类专栏： Pytorch Lightning 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chongchong247619000/article/details/124307537
版权

amp_level of Pytorch Lightning: 

  • amp_level (Optional[str]) – The optimization level to use (O1, O2, etc…). By default it will be set to “O2” if amp_backend is set to “apex”.

 该参数生效的前提是设置 amp_backbend='apex', 首先简介 APEX: 

APEX 是来自英伟达 (NVIDIA) 的一个很好用的深度学习加速库。由英伟达开源，完美支持PyTorch框架，用于改变数据格式来减小模型显存占用的工具。其中最有价值的是 amp (Automatic Mixed Precision) ，将模型的大部

最低0.47元/天 解锁文章
PyTorch Lightning 可扩展深度学习的第一步
AI天才研究院
08-27 221
作者：禅与计算机程序设计艺术 1.简介 PyTorch是一个基于Python的开源深度学习库。它提供了灵活的计算图机制和强大的自动求导功能，使得研究人员可以更轻松地进行模型训练、验证和测试。相比于其他深度学习框架，PyTorch提供了一个高度模块化和可扩展性的接口设计。基于这一特性，社区也开发出了一系列
AI4S - AlphaFlow: PyTorchLightning+DeepSpeed 分布式训练配置 教程 (4)
AGI
02-19 942
目前，AlphaFlow 项目不支持 Multi GPU 运行，需要修改 PyTorch Lightning 框架，集成 DeepSpeed 等分布式策略。PyTorch Lightning 和 DeepSpeed 的组合使用，可以为深度学习项目，带来显著的训练速度提升和内存优化。
pytorch_lighting
qq_38195610的博客
05-09 1万+
PyTorch Lightning 是一个开源的 PyTorch 加速框架，它旨在帮助研究人员和工程师更快地构建神经网络模型和训练过程。它提供了一种简单的方式来组织和管理 PyTorch 代码，同时提高了代码的可重用性和可扩展性。PyTorch Lightning 提供了一组预定义的模板和工具，使得用户可以轻松地构建和训练各种类型的神经网络模型，包括图像分类、对象检测、语音识别、自然语言处理等。
加载PyTorch-Lightning库函数的时候报的错误
qq_37198234的博客
03-21 3187
尝试过的法子：更新库到最新，降低版本到0.9.0，卸载再安装，更改torch的版本，都不行。具体为什么我也想不通，可能是因为conda会考虑到环境版本？等等加载PyTorch-Lightning库的时候报的错误。可以尝试先卸载，再用conda安装。一般我都是用pip安装的。
Pytorch-Lighting使用教程（MNIST为例）
huarzail的专栏
06-01 5827
pytorch-lighting（简称pl），基于 PyTorch 的框架。它的核心思想是，将学术代码（模型定义、前向 / 反向、优化器、验证等）与工程代码（for-loop，保存、tensorboard 日志、训练策略等）解耦开来，使得代码更为简洁清晰。
pytorch-lightning踩坑记录
kaoyaxiangwol的博客
04-22 4403
pytorch-lightning==1.5.10，python3.7，torch==1.10.0 20220421 1 module 'torchmetrics' has no attribute 'F1' 改成： torchmetrics.F1Score() 2 You have asked for `amp_level='O2'` but it's only supported with `amp_backend='apex' 尝试添加amp_backend: apex到Tra.
Yolov3-darknet53 在非GPU下的amp level
weixin_45666880的博客
02-25 116
在Ascend上因为Conv、Sort、TopK等算子只能是float16的，MatMul由于性能问题最好也是float16的，所以基本上Ascend交付的模型都是Mix的，详情请参考 https://www.mindspore.cn/docs/zh-CN/master/migration_guide/debug_and_tune.html 4.训练精度 篇。1.这个Ascend上Mixed精度的训练是在amp level O0或其它level进行？2.在训练时通过哪里设置让其为Mixed精度？
“简约版”Pytorch —— Pytorch-Lightning详解
热门推荐
weixin_46062098的博客
11-16 2万+
PyTorch-Lightning介绍安装实用功能Automatic Batch Size Finder - 自动获取Batch SizeAutomatic Learning Rate Finder - 自动获取初始学习率Reload DataLoaders Every Epoch - 重新加载数据Callbacks - 回调函数Weights Summary - 展示网络信息Progress Bar - 进度条Training and Eval Loops - 训练以及测试循环Training on GP
代码详解：用Pytorch训练快速神经网络的9个技巧
读芯术的博客
08-17 2440
全文共4857字，预计学习时长10分钟 图片来源：unsplash.com/@dulgier 事实上，你的模型可能还停留在石器时代的水平。估计你还在用32位精度或*GASP（一般活动仿真语言）*训练，甚至可能只在单GPU上训练。如果市面上有99个加速指南，但你可能只看过1个？（没错，就是这样）。但这份终极指南，会一步步教你清除模型中所有的（GP模型）。 不要让你的神经网络变成这样。（...
MPEG-2中的Profile@Level
worldpharos的专栏
09-07 2227
MPEG-2中的Profile@Level     现有MPEG-2视频标准的技术规范集包括5类（Profile）4级（Level）组成，并采用分级编码。类和集的若干组合构成MPEG-2标准在某种特定应用下的子集。     级（Level）是指MPEG-2的输入格式，标识从有限清晰度的VHS 质量图像到HDTV图像，每一种输入格式编码后都有一个相应的范围。共分4级：     1) 低级LL(Low
Pytorch自动混合精度(AMP)介绍与使用
junbaba_的博客
07-25 1万+
Pytorch自动混合精度(AMP)介绍与使用 背景： pytorch从1.6版本开始，已经内置了torch.cuda.amp，采用自动混合精度训练就不需要加载第三方NVIDIA的apex库了。本文主要从三个方面来介绍AMP： 一．什么是AMP? 二．为什么要使用AMP？ 三．如何使用AMP? 四. 注意事项 正文： 一．什么是AMP? 默认情况下，大多数深度学习框架都采用32位浮点算法进行训练。２０１７年，NVIDIA研究了一种用于混合精度训练的方法，该方法在训练网络时将单精度（FP32）与半精度(FP1
单精度和半精度混合训练
吴建明wujianming_110117
02-25 1230
单精度和半精度混合训练 概述 混合精度训练方法，通过混合使用单精度和半精度数据格式，加速深度神经网络训练的过程，同时保持了单精度训练所能达到的网络精度。混合精度训练能够加速计算过程，同时减少内存使用和存取，并使得在特定的硬件上可以训练更大的模型或batch size。 对于FP16的算子，若给定的数据类型是FP32，MindSpore框架的后端会进行降精度处理。用户可以开启INFO日志，并通过搜索关键字“Reduce precision”查看降精度处理的算子。 计算流程 MindSpore混合精度典型的计算
【MindSpore易点通】混合精度训练使用总结
Kenji_Shinji的博客
11-02 887
混合精度训练方法是通过混合使用单精度和半精度数据格式来加速深度神经网络训练的过程，同时保持了单精度训练所能达到的网络精度。混合精度训练能够加速计算过程，同时减少内存使用和存取，并使得在特定的硬件上可以训练更大的模型或batch size。MindSpore低阶API使用混合精度，只需在MindSpore低阶API代码构造模型步骤中，将网络设置成混合精度进行训练。修改高阶API代码中的Model接口，将amp_level设置成"O3"，网络将采用混合精度进行训练。3、将Loss层设置为FP32进行计算；
Pytorch-Lightning-Learning
fb_941219的博客
07-07 1029
LightningModule：Pytorch Lightning的两大API之一，是torch.nn.Module的高级封装。（1）定义模型__init__():同torch.nn.Module中的__init__，用于构建模型。:同torch.nn.Module中的forward，通过__init__中的各个模块实现前向传播。（2）训练模型#训练模型 training_step(* args , ** kwargs) """训练一批数据并反向传播。
PyTorch Lightning入门教程（一）
kejizuiqianfang的博客
08-22 5104
因为最近在学习pytorch lightning，所以这里记录一下学习的内容，这一节记录简单的入门教程，下一节预计介绍如何进行多GPU训练。pytorch lightning作为pytorch的一个拓展架构，可以减少很多与数据处理以及模型搭建无关的代码，增加工程效率。因为在编写训练代码的时候，很多时候需要兼顾编写学习率的schedule代码，记录log的代码等等。实际上，模型相关代码可能需要的时间还不如调试这些辅助的代码所需要的时间。而pytorch lightning这类框架就可以解决上面的问题。
THOR：MindSpore 自研高阶优化器源码分析和实践应用
华为云官方博客
06-26 3243
摘要：这篇文章跟大家分享下THOR的实践应用。THOR算法的部分内容当前已经在MindSpore中开源
Apex 一键混合双精度计算
pochy的博客
10-10 4741
针对单一Optimizer使能AMP 对于单一Optimizer，使能AMP只需要以下修改两部分即可： 1. 代码中Optimizer之后添加： optimizer = # ... some optimizer from apex import amp amp_handle = amp.init() 2. 修改代码中反向迭代部分： # ... do a bunch of stuff ...
conda如何升级pytorch_PyTorch的自动混合精度（AMP）
weixin_39621178的博客
11-20 832
背景PyTorch 1.6版本今天发布了，带来的最大更新就是自动混合精度。release说明的标题是：Stable release of automatic mixed precision (AMP). New Beta features include a TensorPipe backend for RPC, memory profiler,and several improvements t...
pytorch lightning使用（简要介绍）
fanqiliang630的博客
02-21 6818
0. 简介 pytorch lightning通过提供LightningModule和LightningDataModule，使得在用pytorch编写网络模型时，加载数据、分割数据集、训练、验证、测试、计算指标的代码全部都能很好的组织起来，显得主程序调用时，代码简洁可读性大幅度提升。 1. pytorch lightning的安装 pip install pytorch-lightning conda install pytorch-lightning -c conda-forge 2. 定义一
# Environment Setup We describe steps (in Linux command line) to setup the environment for SparseFusion. ## Conda Environment We install and setup a conda environment. ### (optional) Install Conda Required if conda not installed. ```bash cd ~ wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh chmod +x Miniconda3-latest-Linux-x86_64.sh ./Miniconda3-latest-Linux-x86_64.sh export PATH="/home/username/miniconda/bin:$PATH" conda init source ~/.bashrc ``` ### Create New Environment ```bash conda create -n sparsefusion python=3.8 conda activate sparsefusion ``` ## Install Dependencies We install the necessary dependencies. ### GCC and Cuda Make sure to do this first! We also assume that nvidia drivers and `cuda=11.3.x` is installed. ```bash conda install -c conda-forge cxx-compiler=1.3.0 conda install -c conda-forge cudatoolkit-dev conda install -c conda-forge ninja ``` ### Python Libraries ```bash conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch conda install -c fvcore -c iopath -c conda-forge fvcore iopath conda install -c pytorch3d pytorch3d ``` ### Support Stable Diffusion ```bash pip install transformers==4.19.2 pytorch-lightning==1.4.2 torchmetrics==0.6.0 pip install -e git+https://github.com/CompVis/taming-transformers.git@master#egg=taming-transformers ``` ### (optional) Install CO3D Required if using full CO3D dataset. ```bash git clone https://github.com/facebookresearch/co3d cd co3d pip install -r requirements.txt pip install -e . ``` ### Install Other SparseFusion Requirements ```bash cd sparsefusion pip install -r requirements.txt ``` ## Building Extensions We require a few extensions from [torch-ngp](https://github.com/ashawkey/torch-ngp). We detail how to install them below. See more details on the [torch-ngp](https://github.com/ashawkey/torch-ngp) Github. ### Build gridencoder ```bash pip install ./external/gridencoder ``` ### Build raymarcher ```bash pip install ./raymarching ```
最新发布
06-03
model, optimizer = amp.initialize(model, optimizer, opt_level="O2") ``` ### 常见问题解决 1. **Undefined CUDA symbols**： ```bash # 清理重建 rm -rf build/ dist/ *.egg-info python setup.py clean ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值