async checkpointing

最新推荐文章于 2025-10-02 15:28:36 发布
原创 最新推荐文章于 2025-10-02 15:28:36 发布 · 289 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#GPU #大模型

部署运行你感兴趣的模型镜像

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

RT-DETR-R50 批量推理性能：高并发场景下的吞吐量测试
走向CTO的路上...
11-05 699
RT-DETR-R50批量推理性能：技术突破与系统优化 核心发现 RT-DETR-R50在批量推理场景下实现了245.2 samples/s的峰值吞吐量（批量32），相比单张推理提升6.9倍，展示了Transformer架构在大规模批量处理中的独特优势。 关键技术突破 计算并行化：通过自注意力机制的批处理优化，实现接近线性的吞吐扩展 内存效率革命：从285MB/样本降至42MB/样本，提升内存访问效率579% 端到端优化：消除传统NMS瓶颈，使整个推理流程支持高效批处理 系统架构亮点 动态批处理管理（支持最
手把手写深度学习(29)：将DDP训练代码改成DeepSpeed
沉迷单车的追风少年
11-12 1111
deepspeed已经成为了大模型时代训练模型的常规武器，这篇博客以一个基于DDP的 Stable Diffusion模型训练为例，讲解如何从将DDP训练代码改成DeepSpeed。
Flink之状态之checkpointing
weixin_30426065的博客
08-02 1176
1.前言 在Flink中，函数和操作符都可以是有状态的。在处理每个消息或者元素时，有状态的函数都会储存信息，使得状态成为精密操作中关键的组成部分。 为了使状态能够容错，Flink会checkpoints状态。checkpoints机制使得Flink可以恢复状态和位置，以至于流计算的应用可以提供无故障执行的语义。 2.前提 Flink的checkpointing机制对流和状态的可靠存储有如下...
21.DataStream API之State & Fault Tolerance(Checkpointing)
木子李的博客
09-28 465
flink 1.9 The Broadcast State Pattern Flink中的每个函数和操作符都可以是有状态的(有关详细信息，请参阅working with state)。有状态函数在各个元素/事件的处理过程中存储数据，使状态成为任何类型的更精细操作的关键构建块。 为了使状态容错，Flink需要对状态进行检查点checkpoint。检查点允许Flink恢复流中的状态和位置，从...
Flink Streaming检查点（Checkpointing）设置
czl689的专栏
10-11 2541
Flink中的每个函数和操作符都可以是有状态的(有关详细信息，请参见使用状态)。有状态函数在单个元素/事件的处理过程中存储数据，使状态成为任何类型的更精细操作的关键构建块。 为了使状态容错，Flink需要对状态进行checkpoint（检查点）。检查点允许Flink恢复流中的状态和位置，从而为应用程序提供与无故障执行相同的语义。documentation on streaming fault t...
3.4、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 Checkpointing
主要写大数据集群一线运维和学习工作经验
08-21 552
Flink中的每个函数和操作符都可以是有状态的(有关详细信息，请参阅//TODO使用状态)。有状态函数在各个元素/事件的处理过程中存储数据，使状态成为任何类型的更精细操作的关键构建块。 为了使状态容错，Flink需要对状态进行检查点。检查点允许Flink恢复流中的状态和位置，从而为应用程序提供与无故障执行相同的语义。 数据流容错详细介绍容错机制背后的技术//TODO 基础概念 Flink的...
重磅！Apache Flink 1.16 发布在即！众多新特性全面解读！
http://www.54tianzhisheng.cn/
10-12 3462
Apache Flink 继续快速发展，是 Apache 中最活跃的社区之一。Flink 1.16 有超过 230 名贡献者热情参与，完成了 19 个 FLIP 和 900+ 个问题，为社区带来了许多令人兴奋的功能。Flink 已经成为流处理的主角和事实标准，流批处理统一的概念正在逐渐获得认可，并在越来越多的公司中成功实施。此前，流批一体的概念更强调统一的API和统一的计算框架。今年，基于此，Fl...
Megatron-LM Checkpoint管理：模型保存与恢复最佳实践
gitblog_01158的博客
09-04 882
在大规模Transformer模型训练过程中，Checkpoint（检查点）管理是确保训练稳定性和容错性的关键技术。Megatron-LM作为NVIDIA开发的大规模语言模型训练框架，提供了完善的Checkpoint系统，支持多种并行策略下的模型状态保存与恢复。本文将深入解析Megatron-LM的Checkpoint机制，并提供实用的最佳实践指南。 ## Checkpoint系统架构 ###...
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
2402_82411485的博客
09-09 854
9 月 8 日，上海人工智能实验室（上海AI实验室）开源书生大模型 新一代训练引擎。XTuner V1是伴随上海 AI 实验室“通专融合”技术路线的持续演进，以及书生大模型研发实践而成长起来的新一代训练引擎。相较于传统的 3D 并行训练引擎，XTuner V1不仅能应对更加复杂的训练场景，还具备更快的训练速度，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。除了训练框架，书生大模型研发中使用的 AIOps 工具与也将一并开源，为大规模分布式训练提供全方位保障。
稀缺资源曝光：Google DeepMind都在用的Python分布式训练框架剖析
最新发布
LiteTrans的博客
10-02 1092
掌握大模型训练分布式Python新范式，揭秘Google DeepMind实战框架。适用于超大规模模型训练场景，基于PyTorch+Ray实现高效分布式调度，提升资源利用率与训练速度。核心方法开源可复现，值得收藏。
官宣｜Apache Flink 1.20 发布公告
Ververica的博客
08-07 3788
Apache Flink PMC（项目管理委员）很高兴地宣布发布 Apache Flink 1.20.0。与往常一样，这是一个充实的版本，包含了广泛的改进和新功能。总共有 142 人为此版本做出了贡献，完成了 13 个 FLIPs、解决了 300 多个问题。
ncaos 多group间通信
06-04
- **异步检查点（Async Checkpointing）**： GM周期性地将组间通信状态快照存储至**多副本存储层**（如基于Raft的日志），确保故障后一致恢复[^2]。 $$ \text{State}_{t} \xrightarrow{\text{Snapshot}} \text{...
flink checkpoint 流程源码分析
yuchuanchen的专栏
05-14 1903
flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr
Hudi Flink MOR 学习总结
主要分享大数据相关的知识，如Spark、Hudi
05-28 703
之前很少用MOR表，现在来学习总结一下。首先总结一下 compaction 遇到的问题。
Pipeline并行：GPipe,1F1B, Interleaved-1F1B, Looped-BFP
smartcat2010的博客
07-21 2569
1F1B等，是每个GPU负责连续的几个layers，例如：GPU1:[1,2,3,4],GPU2:[5,6,7,8],GPU3:[9,10,11,12],GPU4:[13,14,15,16]...本方法，每个GPU负责多个小段的连续layers，例如:GPU1:[1,2,9,10],GPU2:[3,4,11,12],GPU3:[5,6,13,14],GPU4:[7,8,15,16]总体目标：增大吞吐（减少气泡），减少显存（中间缓存的activation尽可能少），保持和原始计算的结果等价；
DeepSeek-v3在训练和推理方面的优化
smartcat2010的博客
01-18 2491
4.MoE的load-balance：训练中，边训练，边调整每个MoE的路由权重。负载高的减少权重，负载低的增加权重。缺点是影响模型训练的主目标）。可以一次推理多个tokens。3.基础架构：MoE，同等参数量（模型的”能力“）下，训练、推理的计算量大幅减少。2.基础架构：MLA，大幅减少了KVcache大小。训练的时候就是一次预测多个tokens，推理时也这样，所以效果更好。限制每个token最多和M个GPU上的experts进行通信。训练中，用旁路loss来鼓励句子中命中expert更均匀。
GPU Kernel冷启动warm up
smartcat2010的博客
02-17 1475
1. Kernel代码copy至GPU设备上 When using the CUDA runtime API, kernel code is downloaded to the device once. This happens as an implicit action right after CUDA runtime context creation. When using the CUDA driver API, the app has control over when kernels get d
循环展开的优缺点
smartcat2010的博客
11-10 1346
优点： 循环展开能够增大指令调度的空间，减少循环分支指令的开销。即增大指令流水线的效率。 循环展开可以更好地实现数据预取技术。 缺点： 嵌入式设备上，增大了指令cache miss的可能。 复杂功能的展开，没什么优化效果 ...
NCCL的多种通信拓扑
smartcat2010的博客
01-22 1008
节点内先AllReduce一把，结果再在跨机器上AllReduce；优点：减少速度较慢的跨机器通信的数据量；大集群：Double-Tree;优点：hop数是lg(N)，延迟减少；缺点：GPU多了以后，延迟太大，N；
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值