[论文笔记] pai-megatron-patch Qwen2系列后预训练 踩坑记录 包括长文本（Qwen2-72B/7B/1.5B）

原创 已于 2024-08-21 21:06:40 修改 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读

于 2024-07-03 15:37:46 首次发布

经过以下修改，Qwen2-72B-CT可以正常训练，并且benchmark指标和loss正常。

Qwen2-72B-CT开长文本，256卡，16K会OOM，目前能开11K(11008)。

后面开了SP，能开到16K（tp8pp8）。

[论文笔记] Pai-megatron Qwen1.5-14B-CT 后预训练 踩坑记录_pai-megatron-patch 多机-优快云博客

[论文笔记] pai-megatron-patch Qwen2 tokenize代码踩坑-优快云博客

一、改动

1、模型加载：strict=False

vim ./PAI-Megatron-Patch/Megatron-LM-240405/megatron/training/checkpointing.py

vim /mnt/cpfs/kexin/dlc_code/qwen2/moe/Pai-Megatron-Patch/Megatron-LM-240612/mega

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[论文笔记] pai-megatron-patch megatron 模型接着训练 继续训练 load checkpoint
心宝的博客
07-02 565
其中 checkpoint_path 中的 last_iteration_txt (好像是这个名字) 要改成自己需要的。继续训练的话，不要用megatron的检查点转换回hf模型。要直接 load megatron模型。
[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路
心宝的博客
07-19 1805
开SP之后，72B能开到16K，7B能开到32K。但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。相对于原repo加了一些代码适配性的问题。
Pai-Megatron-Patch：围绕Megatron-Core打造大模型训练加速生态
2401_85378759的博客
09-12 1416
由于MCore在Transformer模型关键组件实现方面与Huggingface存在一定差异，导致在继续预训练或者微调时将Huggingface模型权重转换Mcore模型权重后执行前向推理会产生误差，该误差主要来自以下六个方面：
阿里云Pai-Megatron-Patch: 深度学习的大规模并行计算优化库
gitblog_00050的博客
04-26 568
阿里云Pai-Megatron-Patch: 深度学习的大规模并行计算优化库 该项目是阿里巴巴开源的一个用于深度学习模型训练的高效并行计算补丁集合，它是基于Megatron-LM的扩展和优化。如果你对提升大规模预训练模型的训练速度和效率有兴趣，那么Pai-Megatron-Patch绝对值得你一试。 项目简介 是一个针对Megatron-LM框架的增强版，旨在改善其在阿里云PAI平台上的性能。它包...
Pai-Megatron-Patch 教程
gitblog_00789的博客
08-07 774
Pai-Megatron-Patch 的目录结构如下： ``` . ├── README.md # 主要的项目说明文件 ├── README_zh-CN.md # 中文版本的项目说明文件 ├── patches # 存放Megatron-LM的补丁文件 ├── examples # 示例代码和脚本 │ ├── model_library # 不...
pai-megatron-patch 教程
gitblog_00461的博客
08-07 1318
pai-megatron-patch 教程 Pai-Megatron-PatchThe official repo of Pai-Megatron-Patch for LLM & VLM large scale training developed by Alibaba Cloud.项目地址:https://gitcode.com/gh_mirrors/pa/Pai-Megatron-Patch...
[论文笔记] pai-megatron-patch Qwen2-57B(A14B)-CT 后预训练 踩坑记录
心宝的博客
07-04 746
【代码】[论文笔记] pai-megatron-patch Qwen2-57B(A14B)-CT 后预训练 踩坑记录。
[论文笔记] Pai-megatron Qwen1.5-14B-CT 后预训练 踩坑记录
心宝的博客
04-12 751
lm loss: 1.515231E+01，初始loss为15，之前遇到过这种问题，检查了模型load进来了，是因为那个rope没设置对导致的，模型权重没问题。最终归因到 run_pretrain_mcore_qwen.sh 中关于位置编码的参数有问题。改完之后能跑，但是loss太高。
[论文笔记] pai-megatron-patch Qwen2 tokenize代码踩坑
心宝的博客
06-17 417
【代码】[论文笔记] pai-megatron-patch tokenize代码踩坑。
终极指南：阿里云Pai-Megatron-Patch如何加速千亿参数大模型训练
最新发布
gitblog_00356的博客
01-07 925
在人工智能飞速发展的今天，大型语言模型训练已成为技术突破的关键。阿里云Pai-Megatron-Patch作为专业的LLM和VLM大模型训练工具，正在帮助开发者快速构建和优化千亿参数级别的AI模型。🌟 ## 什么是Pai-Megatron-Patch？ Pai-Megatron-Patch是阿里云机器学习平台PAI团队开发的深度学习训练工具包，专门为开发者提供基于Megatron框架的大模型
阿里云PAI-灵骏大模型训练工具 Pai-Megatron-Patch 正式开源！
阿里云云栖号
10-02 1530
随着深度学习大语言模型的不断发展，其模型结构和量级在快速演化，依托大模型技术的应用更是层出不穷。对于广大开发者来说不仅要考虑如何在复杂多变的场景下有效的将大模型消耗的算力发挥出来，还要应对大模型的持续迭代。
[论文笔记] pai-megatron-patch 环境安装
心宝的博客
07-26 586
还需要安装 flash-attn2.5、transformer-engine。除了官方repo中的requirement.txt。
[论文笔记] PAI-Megatron 1、Qwen continuing pretrain(CT)千问预训练
心宝的博客
01-16 1545
数据情况：预训练数据已经用qwen-tokenizer分过词。所以不需要准备数据。如果需没有数据，也可以从Pai-Megatron上拉数据。克隆Pai-Megatron-Patch源代码并拷贝到工作目录/mnt/workspace/下。注意：EXTRA_VOCAB_SIZE，7B使用85，14B和72B模型使用213。目标：使用qwen基座来做CT。
Pai-Megatron-Patch 项目常见问题解决方案
gitblog_00283的博客
12-30 649
Pai-Megatron-Patch 是由阿里巴巴云开发的一个深度学习训练工具包，旨在帮助开发者更容易地使用 Megatron 框架训练和预测大型语言模型（LLM）和视觉语言模型（VLM）。随着 LLMs 的持续发展，模型结构和规模快速演变。尽管可以使用 Transformers 或 DeepSpeed 训练框架方便地制造这些模型，但当模型规模超过 10 亿时，训练效率相对较低。Pai-Megat...
【论文阅读】QWEN2 TECHNICAL REPORT
li_li_rui的专栏
07-22 1698
本文介绍了阿里巴巴集团Qwen团队开发的Qwen2系列大型语言模型和多模态模型，这些模型在参数范围从0.5亿到720亿不等，包括密集模型和专家混合模型。Qwen2在语言理解、生成、多语言能力、编程、数学和推理等多个基准测试中表现出色，超越了大多数先前开放权重模型，并与专有模型竞争。旗舰模型Qwen2-72B在多项测试中取得了显著成绩，展示了其在多语言环境中的强大能力和全球适用性。文章还详细介绍了模型的架构、预训练和后训练过程，以及如何通过监督微调和人类反馈强化学习来调整模型以更好地遵循指令。最后，文章提到Q
[论文笔记] PAI-Megatron中qwen和mistral合并到Megtron-LM
心宝的博客
01-12 868
mnt/nas/pretrain/code/Megatron-LM/megatron/tokenizer/__init__.py 或者 tokenizer.py。，更改pretrain_qwen_dlc.py中的输入参数 tokenizer_type: QwenTokenizer。因为在tokenizer中的build_tokenizer中引用了QwenTokenizer。，更改提交脚本中的参数。
LLM 系列——Qwen2——论文解读
TigerZ*的博客
07-24 1225
Qwen2 是单模态纯文本的大语言模型，开源了一整套基础和指令调优的语言模型，参数范围从5亿到720亿不等，包括密集模型和混合专家模型。可以用于：语言理解、生成、多语言、编码、数学和推理。主要是精召性能提升、数据和长文本处理方面改进，包括数据处理等使用了一些最新的其他论文的思路，模型结构等方面并没有大的改动。
《Qwen2-VL》论文精读【上】：发表于2024年10月 Qwen2-VL 迅速崛起 | 性能与GPT-4o和Claude3.5相当
my_name_is_learn的博客
11-02 3274
Qwen2-VL-72B模型在各种多模态基准测试中，与GPT-4o和Claude3.5-Sonnet等领先模型相比，实现了相当的结果，超越了其他通用模型。这篇是论文的上集，下集会补充详细的技术实现原理
Megatron单机多卡Qwen2.5:pre-train+sft
weixin_46873015的博客
03-05 1991
英伟达：https://github.com/NVIDIA/Megatron-LM/releases/tag/core_r0.8.0阿里：https://github.com/alibaba/Pai-Megatron-Patch/releases/tag/v0.10.2。
megatron-LM能进行qwen的预训练吗，教程在哪
10-21
<think>首先，用户的问题是：“我想了解megatron-LM是否能进行qwen的预训练以及获取相关教程”。用户提供了几条引用，我需要参考这些引用来回答问题。 分析用户提供的引用： - 引用[1]: 讨论如何使用Megatron-LM训练语言模型，提到数据加载。 - 引用[2]: 关于Qwen3-30B-A3B分布式训练方案，使用Megatron-LM和DeepSpeed。 - 引用[3]: Megatron-LM与DeepSpeed集成训练Megatron-DeepSpeed。 - 引用[4]: PAI-Megatron论文笔记，详细描述了Qwen继续预训练的参数和脚本。 - 引用[5]: 一个文件路径，指向checkpointing.py文件。 关键点是引用[4]，因为它直接提到“PAI-Megatron”和“Qwen continuing pretrain(CT)千问预训练”。这表明Megatron-LM是可以用于Qwen模型的预训练的。 用户的问题是：Megatron-LM是否能进行Qwen的预训练？以及获取相关教程。 从引用中： - 引用[2]提到Qwen3-30B-A3B的分布式训练方案使用Megatron-LM和DeepSpeed。 - 引用[4]详细描述了运行预训练的脚本和参数，针对Qwen模型。 所以，是的，Megatron-LM可以用于Qwen的预训练。 关于教程： - 引用[3]提到使用Megatron-DeepSpeed训练的详细步骤。 - 引用[4]给出了一个脚本示例：run_pretrain_megatron_qwen.sh，并列出需要传入的参数。 因此，我可以基于这些来提供相关信息。 现在，系统级指令： - 所有行内数学表达式用$...$格式。 - 独立公式用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如[^1]。这里引用是用户提供的，我应该使用用户给出的引用编号。 在回答中引用时，使用[^1]等格式。 回答结构： - 系统指令说“回答结构清晰，帮助用户逐步解决问题”。 - 保持真实可靠，基于引用。 大纲回答： 1. 直接回答用户问题：是的，Megatron-LM可以用于Qwen的预训练。 2. 提供相关教程信息： - 参考引用[4]，它描述了运行预训练脚本的具体步骤。 - 提到脚本run_pretrain_megatron_qwen.sh和所需参数。 - 引用[3]提到环境准备和训练步骤。 3. 自然地添加引用标识在末尾引用段落。 4. 最后，生成相关问题。 生成相关问题： - 基于主题，如优化Megatron-LM训练、DeepSpeed配置等。 - 例如：如何优化Megatron-LM训练Qwen模型？ Megatron-LM与DeepSpeed集成的优势是什么？ 确保回答使用中文。 完整回答： - 首先确认能力。 - 然后提供教程细节。 - 结束时生成相关问题。 引用标识： - 当提到引用内容时，在句子末尾添加[^数字]。 - 例如：如引用[4]所述，... [^4]。 最终响应： - 开头：是的，Megatron-LM可以用于Qwen模型的预训练。 - 细节：基于引用[4]，有一个专门的脚本用于Qwen预训练。 - 教程：描述参数和环境设置。 - 结束：生成相关问题。 </think>### Megatron-LM 支持 Qwen 预训练及相关教程 是的，Megatron-LM 可以用于 Qwen 模型的预训练（包括基础预训练和继续预训练）。Megatron-LM 是 NVIDIA 开发的高效大规模语言模型训练框架，特别适用于分布式训练场景。结合 DeepSpeed（如 Megatron-DeepSpeed），它可以有效加速大规模模型（如 Qwen 的参数规模达到数百亿）的训练过程，优化显存和计算资源使用。下面我将基于您提供的引用内容，逐步解释其可行性并提供相关教程指南。回答参考了您站内的引用，确保信息真实可靠。 #### 1. **Megatron-LM 支持 Qwen 预训练的可行性** - Megatron-LM 是一个灵活的框架，支持多种模型架构的预训练，包括 Transformer-based 模型（如 Qwen）。引用[2] 明确指出，Qwen3-30B-A3B（一个 305 亿参数的混合专家模型）的分布式训练方案就是基于 Megatron-LM 和 DeepSpeed 实现的 [^2]。这表明 Megatron-LM 适用于 Qwen 系列模型的预训练。 - 具体来说，引用[4] 详细描述了如何使用 PAI-Megatron（一个基于 Megatron-LM 的扩展版）进行 Qwen 的继续预训练（continuing pretrain）。该引用提供了完整的脚本和参数配置，包括模型大小、批次大小、学习率等，证实了 Megatron-LM 在工业级 Qwen 训练中的应用 [^4]。 - 优势：Megatron-LM 提供了模型并行（Tensor Parallelism）、流水并行（Pipeline Parallelism）等功能，能高效处理大规模数据和大模型训练 [^1][^3]。 #### 2. **相关教程指南** 基于引用[3]和[4]，以下是使用 Megatron-LM（特别是集成 DeepSpeed）进行 Qwen 预训练的详细步骤和配置。教程分为环境准备、脚本配置和运行步骤。引用[4] 提供了一个可直接复用的脚本模板 `run_pretrain_megatron_qwen.sh`，适用于 Qwen 模型的预训练 [^4]。 **步骤 1: 环境准备** - 确保系统满足基本要求：Linux 环境、NVIDIA GPU（推荐 A100/H100）、CUDA 和 cuDNN 安装。 - 安装依赖库： - Megatron-LM (参考 [官方 GitHub](https://github.com/NVIDIA/Megatron-LM)) - DeepSpeed (安装命令: `pip install deepspeed`) - PAI-Megatron-Patch（用于 Qwen 的特定补丁，下载链接见引用[4] [^4]） - 其他工具：如 Flash Attention（用于加速注意力计算，可选）。 - 示例命令： ```bash git clone https://github.com/NVIDIA/Megatron-LM cd Megatron-LM pip install -e . ``` **步骤 2: 配置训练脚本** - 使用引用[4] 提供的脚本 `run_pretrain_megatron_qwen.sh`，该脚本需要传入多个参数来控制训练过程。以下是关键参数详解（基于引用[4] 的描述 [^4]）： - `ENV=$1`：运行环境（例如 `dlc` 或 `dsw`，对应阿里云的 DLC 或 DSW 平台）。 - `MODEL_SIZE=$3`：模型尺寸（例如 `7B`, `14B`, `72B`，表示 Qwen 的参数规模）。 - `BATCH_SIZE=$4`：每卡批次大小（例如 `4` 或 `8`）。 - `GLOBAL_BATCH_SIZE=$5`：全局批次大小（需根据 GPU 数量调整）。 - `LR=$6` 和 `MIN_LR=$7`：学习率设置（例如 `1e-5` 和 `1e-6`）。 - `SEQ_LEN=$8`：序列长度（例如 `2048`）。 - `TP=${12}` 和 `PP=${13}`：模型并行度和流水并行度（优化分布式训练）。 - `DATASET_PATH=${20}`：训练数据集路径（需预先准备 Qwen 格式的数据）。 - `PRETRAIN_CHECKPOINT_PATH=${21}`：预训练模型检查点路径（如果继续训练）。 - 完整参数列表参见引用[4] [^4]。 - 示例脚本调用： ```bash bash run_pretrain_megatron_qwen.sh dsw /path/to/megatron_patch 7B 4 32 1e-5 1e-6 2048 100 85 fp16 4 2 sel true true false true 1000 /dataset/path /checkpoint/path 1000000 100000 /output/path ``` **步骤 3: 运行训练** - 启动训练后，Megatron-LM 会自动处理数据加载、模型初始化和分布式训练。引用[1] 强调了数据加载的优化技巧，如高效的数据并行策略 [^1]。 - 监控和调优： - 使用 DeepSpeed 的日志功能（如 `deepspeed_monitor`）跟踪训练指标。 - 引用[5] 提到 checkpointing 机制（文件路径：`/mnt/cpfs/kexin/dlc_code/qwen2/moe/Pai-Megatron-Patch/Megatron-LM-240612/megatron/training/checkpointing.py`），用于保存和恢复模型状态 [^5]。 - 最佳实践： - 结合 Flash Attention（设置 `FL=true`）加速注意力计算 [^4]。 - 启用 Transformer-engine（如果使用 H800 GPU）提升性能 [^4]。 **完整教程资源** - **官方博客与文档**：引用[3] 推荐的博客提供了 Megatron-DeepSpeed 的详细入门教程（参考 [NVIDIA 博客](https://developer.nvidia.com/blog/megatron-deepspeed-training-language-models/)）[^3]。 - **社区示例**：引用[2] 和[4] 提供了工业化训练方案，包括配置模板和性能优化指南，帮助团队在有限资源下实施 [^2][^4]。您可以访问相关 GitHub 仓库（如 [PAI-Megatron-Patch](https://github.com/alibaba/Pai-Megatron-Patch)）获取更多代码示例。 - **注意事项**：训练大规模模型（如 Qwen-72B）可能需数百 GPU，建议从小规模（如 Qwen-7B）开始测试。 #### 3. **关键优势与挑战** - **优势**：Megatron-LM 通过并行策略降低显存占用，支持混合精度训练（如 `fp16` 或 `bf16`），引用[4] 显示其能在 Qwen 训练中实现高吞吐量 [^4]。 - **挑战**：配置复杂度高，需熟悉分布式系统；数据准备需对齐 Qwen 的 tokenizer（引用[4] 提到 `EXTRA_VOCAB_SIZE` 参数用于词表扩充 [^4]）。 如果您有具体环境或参数细节，我可以帮助进一步优化配置。欢迎提供更多上下文！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值