gem5 : 多个checkpoint聚合后运行Multiprogrammed workloads

最新推荐文章于 2024-10-05 01:49:59 发布
原创 最新推荐文章于 2024-10-05 01:49:59 发布 · 2.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#gem5

本文介绍如何使用gem5自带工具checkpoint_aggregator.py聚合多个独立Checkpoint，并解决在聚合后运行时出现的错误。同时提供了升级Checkpoint的方法以适配gem5的新版本。

参考：Multiprogrammed workloads，Running Gem5 with multiple independent checkpoints

问题：

  • 通过checkpoint单独运行SPEC2k6 benchmark时，可以正常运行；
  • 现在假设有4个workload，那么他们各自会有自己的checkpoint，那么如何让他们一起运行呢？

解决方法：
1. gem5中自带的工具util/checkpoint_aggregator.py可以很好的将多个checkpoint聚合成一个运行点。方法如下：

python checkpoint_aggregator.py -o cpt.1 --cpts cpt.2339843762000 cpt.2441406262000 --memory-size 8589934592

2.从上面生成的checkpoint处开始运行4个workloads // running Gem5 using merged checkpoint

/home/fandroid/gem5/build/ALPHA/gem5.debug --debug-flags=CacheDead --debug-file=/home/fandroid/gem5/m5out/trace.out --outdir=/home/fandroid/gem5/m5out /home/fandroid/gem5/configs/example/spec06_l3_4mix_se.py --benchmark=mix1 -n 4 -r 1 --cpu-type=detailed --cpu-clock=2GHz --mem-size=4GB --mem-channels=2 --mem-type=LPDDR3_1600_x32 --caches --l1i_size=32kB --l1i_assoc=8 --l1d_size=32kB --l1d_assoc=8 --l2cache --l2_size=256kB --l2_assoc=8 --l3cache --l3_size=2MB --l3_assoc=32 --part=32

3.运行上面的脚本后会出现如下错误：

"fatal: Can't unserialize 'Globals:numMainEventQueues'"

由于我使用的是2013年的gem5稳定版，存在一定的bug，最新的开发版本已经修复该问题。见补丁：sim: bump checkpoint version for multiple event queues
要修正这个问题，需要将gem5版本更新到最新，然后在通过util/cpt_upgrader.py工具将之前的cpt.1文件更新即可。

gem5 设置checkpiont以及从checkpoint处开始执行
wyj7260的专栏
03-17 4138
以spec2006中的bzip2为例说明，如何设置checkpoint ，以及从checkpoint处开始继续执行。这样做的目的是，可以采用automic的方式执行N条指令，然后以detailed的方式执行M条指令。 1.设置checkpoint：在第5000000条instruction处设置checkpoint ./build/ALPHA_SE/gem5.opt -d ./
Gem5 checkkpoint使用： checkpoint恢复并运行parsec benchmark，运行和checkpoint时不同的新script
更新一些计算机体系架构NoC，GEM5， AXI4，还有machine learning 的日常
12-18 1941
Gem5 checkkpoint使用： 如何保存checkpoint，从checkpoint恢复，使用哪一层级的文件夹作为输入，-r 1制定检查点 顺序，并运行parsec benchmark。尤其提供运行和checkpoint时不同的新script的方法。不然每一次restore依旧是运行检查点创建时的脚本，就失去了检查点的加速意义（因为不能通用的跳过系统启动部分，给未知的不同的用途使用）。我们改动了hack_back_ckpt.rcs 在2023年可以使用，可以给任意生成检查点时未知的脚本提供检查点。
gem5 设定checkpiont以及从checkpoint开始运行
aofan9566的博客
07-09 512
同spec2006中间bzip2一个例子，如何设置checkpoint 。以及从checkpoint继续以启动运行。这样做的目的是为了，采纳automic运行N指令，然后detailed运行M指令。 1.设置checkpoint：在第5000000条instruction处设置checkpoint ./build/ALPHA_SE/gem5.opt -d ...
gem5 Multiprogrammed workloads in se mode
zgl07的专栏
12-22 1566
In SE mode, simply create a system with multiple CPUs and assign a different workload object to each CPU's workload parameter. If you're using the O3 model, you can also assign a vector of workload
GEM5 checkpoint使用
JaCenz的博客
03-30 1611
介绍GEM5 cpt的一种使用方法
问题解决：demo.py: error: the following arg parser.add_argumentuments are required: --checkpoint-path
dujuancao11的博客
11-22 3338
程序部分源码 错误提示 解决 先添加权重文件 再添加配置参数 configuratio 配置、结构、外形 --checkpoint-path checkpoint_iter_370000.pth --video 0 含义：指定权重文件，指定摄像头为默认本机摄像头 或者 --checkpoint-path checkpoint_iter_370000.pth --video 1 含义：指定权重文件，指定摄像头为外接摄像头 注意：这个需要按照你程序实际情况填写，...
利用gem5全系统模式测试garnet系统性能的完整流程（包含checkpoint的使用方法）
weixin_49908714的博客
05-25 2280
利用gem5全系统模式测试garnet系统性能的完整流程，以及checkpoint的使用方法
Gem5模拟器，一些运行的小tips（十一）
qq_46675545的博客
03-04 2343
关于运行gem5的一些小tips，运行时经常容易出现的报错
Gem5模拟器，详解官网教程Debugging gem5（四）
qq_46675545的博客
12-11 2785
补充介绍一些关于Gem5中的debug知识，比如debug flag、自定义给debug flag等
GEM5 Parsec实用命令行和结果
更新一些计算机体系架构NoC，GEM5， AXI4，还有machine learning 的日常
10-05 1052
0 提供详细的命令行和记录结果。
gem5运行Multiprogrammed workloads的方法
计算机系统、存储
09-28 3929
问题：在gem5中如何同时运行多个测试程序，如4个cpu，每个cpu运行一个程序？解决方法： 1.参考 gem5中运行spec2006，修改spec06_se.py文件，是每个cpu处理一个测试程序。 import spec06_4mix_benchmarks import optparse import sys import osimport m5 from m5.defines import
GEM5错误fatal: Can't unserialize 'system.cpu:_pid'
tristan_tian的博客
05-02 580
如果gem5是从断点中开始，又创建新断点。 然后要从新断点开始，恢复这个checkpoint，会报这样的错误： fatal: Can’t unserialize ‘system.cpu:_pid’ 这是因为，定义fast-forward后，保存检查点时cpu状态已经切换到switch_cpus，因此保存的SimObject对象的字段都是system.switch_cpus。。。（可打开checkp...
Gem5， Spec2017 与 Simpoint
Keep Fighting!
07-14 4848
简单介绍Gem5，Spec benchmark与Simpoint工具链
GEM5 Model Issue-2 checkpoints save and restore
shanshijun1的博客
01-12 629
这种模式又可以分为两类：第一类是将checkpoint加在tick上，如下面的例子，意思是在51000000处设置checkpoint，后面每1000个tick在继续设置，但是max-checkpoints=1限制了只有一处checkpoint。经过一顿折腾，最终能正常save restore。在Simulation.py中，run() 对各种checkpoint的使用都做了实现，基本思路都是 m5.instantiate()+m5.simulate() + m5.checkpoint()
gem5学习6——HiPEAC2012 Tutorials笔记
ivy_reny的专栏
01-07 2101
1、在系统仿真中我们关心什么？ (1) 标准测试程序的运行时间 (2) CPU性能 (3) 互连的延迟 (4) DRAM控制器调度 CPU的行为依赖存储系统，存储系统的行为依赖CPU；CPU花费大量时间等待存储事件完成。 2、GEM5的优势是什么？ GEM5来自M5与GEMS的结合，是基于离散事件仿真核建立起来的。它能建模完整的系统： 不仅仅是CPU程序； 不仅仅是拥有示踪（
Gem5-NVmain混合存储系统仿真输出信息追踪
qq_38473009的博客
03-14 837
LRU(最近最少使用算法) and MRU(最近最常使用算法) Gem5-NVMain-OK 中的源代码，ma_lru.** 为修改后的混合内存缓存替换算法。 【】 混合存储替换方案实验记录方法 执行程序后，输出m5out内容，在此内容下 m5out文件夹中需要关心的内容： I change the below command-line to change cache block size in “cacheline_size=...”. 缓存命...
gem5 中一些自带脚本
u010170039的博客
09-09 1677
gem5 中一些自带脚本这里使用gem5附带的默认配置脚本完成gem5的模拟仿真。 gem5自带许多配置脚本，可以快速使用gem5。 但是使用这些脚本的缺陷是不完全了解正在模拟的内容。 在使用gem5进行计算机体系结构研究以充分了解您正在模拟的系统时，这一点很重要。 这里简单的了解下默认配置脚本的一些重要选项和部分内容。gem5的文件目录： configs/boot: ammp.rc
如何调试gem5
zgl07的专栏
12-09 7105
1. tracing printf（）是很好的工具，同时gem5在自己代码里面就有很多已经做好的输出信息，可以通过flag制定来选择。 输出flags: Fetch, Decode, Ethernet, Exec, TLB, DMA, Bus, Cache, Loader, O3CPUAll, 要想知道所有的flags，运行的时候加上--debug-help选项就可以。 调
GEM5是加载workload的（上）
Keep Fighting!
02-17 1272
在gem5的官方的教程中，是通过system.cpu.workload来指定binary的。 而cpu.workload则是一个Process*类型的vec。 那么系统是如何加载workload的呢？ //./src/sim/process.hh ::Loader::ObjectFile *objFile; ::Loader::MemoryImage image; //./src/sim/process.cc Process::Process(ProcessParams *params.
为什么训练后的checkpoint会分为多个部分
最新发布
11-29
这是一个非常好的问题！ 当你使用 Hugging Face 的 `Trainer` 进行训练后，发现保存的 **checkpoint 被分成了多个文件**（如 `pytorch_model-00001-of-00003.bin`, `pytorch_model-00002-of-00003.bin` 等），这其实是 **模型参数过大导致自动分片（sharding）的结果**。 --- ## ✅ 为什么会分成多个部分？根本原因如下： ### 🔍 原因 1：**模型太大，单个文件无法安全加载或传输** 现代大语言模型（如 LLaMA-7B、Mistral、Qwen 等）的参数量高达数十 GB。如果把所有权重存成一个 `.bin` 文件： - ❌ 单文件 > 10GB，GitHub 不支持 - ❌ 下载容易中断，恢复困难 - ❌ 某些操作系统对单文件大小有限制 - ❌ 加载时内存峰值过高 👉 所以 Hugging Face 引入了 **模型分片（Model Sharding）机制**，将模型权重拆分为多个小文件。 --- ## 🧩 示例结构 ```bash checkpoint-500/ ├── pytorch_model-00001-of-00003.bin ├── pytorch_model-00002-of-00003.bin ├── pytorch_model-00003-of-00003.bin ├── config.json ├── tokenizer_config.json ├── special_tokens_map.json └── training_args.bin ``` > 表示这个 checkpoint 的模型权重被分成了 **3 个文件** --- ## 💡 它是怎么实现的？ Hugging Face 使用的是 `torch.save()` 和 `safetensors`（可选）结合 **张量切分策略** 来实现分片。 ### 核心逻辑流程： 1. 计算所有参数总大小（例如 13GB） 2. 设置每个分片最大体积（默认 ~10GB） 3. 将 `state_dict` 中的张量按顺序分配到不同文件中 4. 保证同一个 layer 的参数尽量在同一个 shard 中（提高加载效率） > ⚠️ 注意：不是“每个 layer 一个文件”，而是“按体积打包” --- ## ✅ 如何控制是否分片？如何设置分片数量？ 你可以通过 `TrainingArguments` 控制这一行为。 ### 方法 1：禁用分片（所有权重保存为一个文件） ```python from transformers import TrainingArguments training_args = TrainingArguments( output_dir="./results", save_strategy="steps", save_steps=500, # 👇 关键参数 save_safetensors=False, # 可选：是否使用 safetensors max_shard_size="10GB", # 默认值；设更大则减少分片数 # 或者完全关闭分片： max_shard_size="50GB", # 超大阈值 → 实际不分片 ) ``` #### 常见选项： - `"5GB"`、`"10GB"`、`"1TB"`（单位支持 GB/MB） - `"10GB"` 是默认值 --- ### 方法 2：强制分成 N 个等份（高级用法） 虽然不能直接指定“分成 5 份”，但可以通过估算模型大小来设置 `max_shard_size`。 例如你的模型约 15GB，想分成 3 份 → 设 `max_shard_size="6GB"` --- ## ✅ 加载这种分片模型会受影响吗？ 不会！Hugging Face 的 `AutoModel.from_pretrained()` **自动识别并合并分片**： ```python from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("./checkpoint-500") # ✅ 自动读取所有 pytorch_model-*.bin 并拼接 ``` 无需手动操作，完全透明。 --- ## 🛠 高级技巧：查看每个 shard 包含哪些层 虽然 Transformers 不提供内置工具，但你可以这样分析： ```python import torch # 读取某个 shard shard = torch.load("pytorch_model-00001-of-00003.bin", map_location="cpu") print("该 shard 包含的键：") for k in shard.keys(): print(k) ``` 输出可能类似： ``` transformer.h.0.attn.q_proj.weight transformer.h.0.attn.k_proj.weight ... transformer.h.5.mlp.dense_h_to_4h.weight ``` 可以看到它包含了前几个 transformer 层。 --- ## ✅ 分片 vs DeepSpeed/ZeRO 的区别？ | 类型 | 目的 | 是否分布式 | |------|------|-----------| | **Checkpoint 分片** | 方便存储和下载 | 单机可用 | | **ZeRO 分片（DeepSpeed）** | 训练时显存优化 | 分布式训练 | > ✅ Checkpoint 分片只是“保存格式”，不影响运行性能。 --- ## ✅ 最佳实践建议 | 场景 | 推荐设置 | |------|----------| | 小模型（<1B 参数） | `max_shard_size="10GB"`（默认即可） | | 大模型微调（7B+） | 保持分片，便于上传 HF Hub | | 想要单一文件导出 | 设置 `max_shard_size="50GB"` | | 发布模型到 HuggingFace | 保留分片（HF Hub 支持更好） | --- ## 📦 额外提示：使用 `safetensors` 更安全高效 推荐开启： ```python save_safetensors=True ``` 优点： - 更快加载 - 更低内存占用 - 防止恶意代码执行（`.bin` 是 pickle，有风险） 输出变为： ``` model-00001-of-00003.safetensors ``` --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值