[论文笔记] Pai-megatron-patch cpu-offload 改到 Qwen2

已于 2024-07-19 16:22:33 修改
阅读量399 收藏 2
点赞数 5
分类专栏： 论文笔记 文章标签： python
于 2024-07-19 15:58:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Trance95/article/details/140547151
版权
了解本专栏 订阅专栏 解锁全文 超级会员免费看
[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路
心宝的博客
07-19 1727
开SP之后，72B能开到16K，7B能开到32K。但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。相对于原repo加了一些代码适配性的问题。
[论文笔记] pai-megatron-patch Qwen2-57B(A14B)-CT 后预训练 踩坑记录
心宝的博客
07-04 694
【代码】[论文笔记] pai-megatron-patch Qwen2-57B(A14B)-CT 后预训练 踩坑记录。
大模型训练之计算量和内存优化篇------混合精度/量化/剪枝/知识蒸馏/FSDP&cpu offload/Gradient Checkpointing
weixin_36378508的博客
05-24 4983
大模型训练显存和计算量优化
PAI-Megatron-Patch工程中，CPU-Offload的时候，最佳Chunk大小的计算规则
h12321hzhy的专栏
11-28 196
【代码】PAI-Megatron-Patch工程中，CPU-Offload的时候，最佳Chunk大小的计算规则。
基于 Megatron 的多模态大模型训练加速技术解析
最新发布
科技很有意思
03-11 1146
本文以 Qwen2-VL 为例，从易用性和训练性能优化两个方面介绍基于 Megatron 构建的 Pai-Megatron-Patch 多模态大模型训练的关键技术。
高效推理技术升级：大型模型采用Offload技术实现低显存优化！
z551646的博客
08-29 3336
本文介绍了大模型低显存推理的一些常用方法，同时，重点介绍了 Offload 技术在各个AI框架中的应用。整个思想在各个AI框架中都大同小异，从技术实现上来说，各个 AI 框架的实现略有不同。从灵活性和可控制性上面来说，我更喜欢Huggingface Transformers。从推理速度和易用性上来说，我觉得 LLama.cpp 更好。
[论文笔记] megatron 大模型超参搜索pipeline
心宝的博客
08-26 415
【代码】[论文笔记] 超参搜索。
[论文笔记] 多语言配比的自动化超参搜索
心宝的博客
09-24 282
【代码】[论文笔记]
大模型低显存推理优化-Offload技术
m0_63171455的博客
08-29 1546
本文介绍了大模型低显存推理的一些常用方法，同时，重点介绍了 Offload 技术在各个AI框架中的应用。整个思想在各个AI框架中都大同小异，从技术实现上来说，各个 AI 框架的实现略有不同。从灵活性和可控制性上面来说，我更喜欢Huggingface Transformers。从推理速度和易用性上来说，我觉得 LLama.cpp 更好。
Web安全和渗透测试有什么关系？
Python_0011的博客
03-31 2615
做渗透测试的一个环节就是测试web安全，需要明白漏洞产生原理，通过信息收集互联网暴露面，进行漏洞扫描，漏洞利用，必要时进行脚本自编写和手工测试，力求挖出目标存在的漏洞并提出整改建议，当然如果技术再精一些，还要学习内网渗透（工作组和域环境），白盒审计，app，小程序渗透那些了......可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料&工具，并且已经帮大家分好类了。总之，web安全包含于渗透测试，但不是渗透测试的全部。
大语言模型（LLMs）训练技巧
2401_85390073的博客
12-12 771
优化器存储一个float32的模型副本，则会消耗4X的显存，同时存储两个状态参数，分别消耗4X和4X的显存，则总共需要16X的显存。可以用来衡量算法/模型的复杂度。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。因此，任意给定的GPU都会有两部分的通信，一个是与包含所有相同层的GPU(数据并行)，另一个与不同层的GPU(流水线并行)。
【BUG】TypeError: dispatch_model() got an unexpected keyword argument ‘offload_index‘
weixin_44493291的博客
11-23 359
即解决了该问题，因此遇到该问题时可以尝试更新加速包，例如。运行qwen时，加载模型完成后，报参数错误。版本过低导致的，例如我的就是。
【AI Guide】AI面试攻略只用看这一篇就够了！力争做全网最全的AI面试攻略——大模型（十）CPU-offload 和 ZeRO-offload
AI科研社
03-04 58
ZeRO是DeepSpeed为处理大规模模型训练而设计的优化技术。ZeRO主要通过将模型的参数、梯度、优化器状态等分布在不同设备上，并且通过避免冗余的存储和计算，使得每个GPU的内存使用减少到最低，从而能够在有限的GPU显存下训练更大的模型。ZeRO-1：优化器状态分布在不同的设备上，每个设备只保存优化器的一个部分的状态。ZeRO-2：不仅分布优化器状态，还将梯度分布到不同的设备上，进一步减少内存使用。ZeRO-3。
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-30 8756
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Megatron-LM源码系列(三)：详解Pipeline模型并行训练实现
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-28 4035
在【Megatron-LM源码系列(二)：Tensor模型并行和Sequence模型并行训练】基础上增加了Pipeline模型并行训练的介绍，对于Pipeline模型并行思路可参考【详解MegatronLM流水线模型并行训练(Pipeline Parallel)】。pipeline并行中网络是按层的粒度进行纵向切分，在通信组通信上中在pipeline的不同stage中进行横向通信。
微软：我已把显存优化做到了极致，还有谁？
夕小瑶科技说
06-20 1526
文 | 王思若大家好，我是王思若。17年6月Google提出了Transformer架构，这篇目前Citation 4.3万的文章开启了大规模预训练模型时代。或者，更精确的从18年OpenAI和Google分别基于其中的Decoder和Encoder发布的大规模预训练模型GPT1和BERT开始，各色千亿，万亿模型就在这方舞台上你方唱罢我登场。20年千亿参数GPT-3, 2...
幻方萤火 | 显存节省利器 CPUOffload
weixin_66945478的博客
09-14 1304
hfai.nn.CPUOffload 为什么可以节省显存？如何使用？它和 PyTorch 原始版本有何不同？本期文章将为大家分享 CPUOffload 设计背后的故事，讲述幻方 AI 设计 CPUOffload 的理念，展现 CPUOffload 的性能和便捷。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值