15.7 DeepSpeed实战：单卡38GB到多卡12GB，3倍效率提升的ZeRO-3配置全解

最新推荐文章于 2025-07-28 00:00:26 发布

少林码僧

最新推荐文章于 2025-07-28 00:00:26 发布

阅读量124

点赞数 4

CC 4.0 BY-SA版权

分类专栏：掌握先机！从 0 起步实战 AI 大模型微调，打造核心竞争力文章标签：人工智能机器学习大数据语言模型 chatgpt

本文链接：https://blog.youkuaiyun.com/yonggeit/article/details/149528263

掌握先机！从 0 起步实战 AI 大模型微调，打造核心竞争力专栏收录该内容

135 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

DeepSpeed实战：从单卡38GB到多卡12GB的显存优化全解析

当单卡GPU无法承载大模型训练时，DeepSpeed的ZeRO-3技术通过参数、梯度和优化器状态的分布式存储，将显存需求压缩至原来的1/10。本文以T5-3B模型为例，详细解析如何通过ZeRO-3配置实现单卡38GB→多卡12GB的显存优化，以及3倍训练效率提升的实战经验。

一、环境准备：从源码编译到硬件适配

（一）源码编译安装（确保CUDA兼容性）

# 克隆仓库并安装（以A100为例，CUDA架构为8.0）
git clone https://github.com/microsoft/DeepSpeed
cd DeepSpeed
TORCH_CUDA_ARCH_LIST="8.0" DS_BUILD_OPS

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

少林码僧

关注关注

4
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

LLaMA Factory多卡微调的实战教程（持续更新）

herosunly的博客

06-12

25万+

本文主要介绍了LLaMA Factory多卡微调的实战教程（持续更新），希望对学习大语言模型的同学们有所帮助。文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试

LLaMA Factory多卡微调的实战教程

热门推荐

herosunly的博客

04-25

21万+

本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试

参与评论您还未登录，请先登录后发表或查看评论

大模型并行训练指南——通俗理解Megatron-DeepSpeed：从模型并行(张量并行、流水线并行)到数据并行ZeRO3优化

结构之法算法之道

08-24

4万+

BLOOM 的模型架构与GPT3非常相似，只是增加了一些改进，本文稍后将对此进行讨论。该模型是在Jean Zay上训练的，Jean Zay 是由 GENCI 管理的法国政府资助的超级计算机，安装在法国国家科学研究中心 (CNRS) 的国家计算中心IDRIS。训练所需的算力由 GENCI 慷慨捐赠给本项目 (捐赠号 2021-A0101012475)。GPU: 384 张 NVIDIA A100 80GB GPU (48 个节点) + 32 张备用 GPU。

DeepSpeed ZeRO-3 超大模型分布式训练实战指南：参数/梯度/优化器三重分片全流程解析

努力分享一些人工智能、计算机视觉、影像等相关的知识干货！

04-27

1282

随着参数规模不断突破数十亿、上百亿乃至千亿，传统的数据并行（Data Parallel）和优化器级分片（ZeRO-2）已无法支撑超大模型的高效训练。 DeepSpeed ZeRO-3（Zero Redundancy Optimizer Stage 3）通过对参数、梯度、优化器状态进行三重细粒度分片，实现了超大模型在有限GPU资源上的极限扩展，支撑了 GPT-3、BLOOM、OPT-175B 等大模型的工程落地。本篇作为 DeepSpeed 系列第十篇，将系统讲解 ZeRO-3 的底层分片机制

LLama factory 多卡 ZeRO-3 、ZeRO-2、 ZeRO-0什么意思？以及为什么没有ZeRO1

yxx122345的博客

12-10

1909

其设计目标是解决训练大规模深度学习模型时的显存瓶颈，阶段的划分主要是基于显存优化的渐进策略，而 ZeRO-1 的需求被包含在 ZeRO-2 中。虽然理论上可以有 ZeRO-1 的定义，但它的功能已经被更高级的阶段（如 ZeRO-2）自然地包含，因此实际实现中并未定义单独的 ZeRO-1。的配置，因为 ZeRO-1 的功能（只分布梯度）已经被 ZeRO-2 包含，DeepSpeed 团队选择直接跳过 ZeRO-1。由于 ZeRO-2 包含了 ZeRO-1 的功能（梯度优化），没有必要单独定义 ZeRO-1。

AI大模型探索之路-训练篇24：ChatGLM3微调实战-多卡方案微调步骤详解

寻道AI，探索AI无限可能！

05-17

7601

在现代自然语言处理（NLP）任务中，随着模型规模的扩大和训练数据的增多，单张GPU的显存已经无法满足大模型的训练需求。为了充分利用多张GPU进行并行训练，我们需要了解不同的并行策略。本文将详细介绍ChatGLM3微调实战中的多卡方案及其步骤。这三篇论文共同构成了DeepSpeed项目的理论基础，它们不仅展示了如何通过技术创新来解决大规模模型训练中的挑战，还为深度学习社区提供了实用的工具和方法。

基于华为昇腾910B和LLaMA Factory多卡微调的实战教程

herosunly的博客

08-23

17万+

本文主要介绍了基于华为昇腾910B和LLaMA Factory多卡微调的实战教程，希望对使用大语言模型的同学们有所帮助。文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 继续预训练(CPT) 3.4 SFT

分布式多机多卡训练全景指南：MPI、DeepSpeed 与 Colossal-AI 深度解析

gs80140的专栏

01-03

2147

本文深入解析了分布式多机多卡训练的核心技术，包括 MPI、DeepSpeed 和 Colossal-AI 等框架的特性与应用场景。通过对比这些技术的并行策略、显存优化、易用性及典型应用，帮助读者理解如何根据实际需求选择最优方案，实现大规模深度学习模型的高效训练与部署。

DeepSpeed ZeRO-Inference 深度实战指南：推理阶段参数分片与超大模型部署技术解析

努力分享一些人工智能、计算机视觉、影像等相关的知识干货！

04-27

992

当大模型规模突破数十亿、上百亿参数时，即使在推理阶段，也难以在单张 GPU 中完整加载所有参数与缓存，传统推理架构面临严重的显存瓶颈和资源浪费问题。 DeepSpeed 推出的 ZeRO-Inference 技术，通过将推理时的参数和缓存智能分片到多个 GPU，极大地降低了单卡显存压力，实现了千亿参数量模型在有限资源下的高效推理落地。本篇作为 DeepSpeed 系列第七篇，将以工程化实践为主线，系统解析 ZeRO-Inference 的核心机制、分片调度策略、推理流程变化，以及结合真实案例的性能

浅谈AI - DeepSpeed - 单卡慎用！

RayLobeCode的博客

04-05

688

Deepspeed 的 ZeRO（Zero Redundancy Optimizer）有三个阶段（Stage 1, Stage 2, Stage 3），每个阶段旨在通过不同方式优化显存使用和提高计算效率。如果你是单卡训练，尤其是消费级显卡（如 3090、4090），启用 ZeRO Stage 2 和 3 反而得不偿失。

15.8 《30分钟部署DeepSpeed实战：3种安装方法+A100性能翻倍全指南》

yonggeit的博客

07-28

143

本文详细介绍了DeepSpeed框架的三种安装部署方法及其性能优化技巧。主要内容包括：1）环境准备与依赖检查，重点说明CUDA版本与PyTorch的对应关系；2）三种安装方式（PIP安装、源码编译、Docker部署）的具体操作步骤和参数配置；3）环境验证方法和性能基准测试；4）与Transformers集成的配置示例；5）常见问题解决方案。通过本指南，开发者可在30分钟内完成从环境搭建到分布式训练的全流程部署，特别针对A100等GPU提供了性能优化建议，帮助实现训练效率的显著提升。

Datawhale 科大讯飞AI大赛（模型蒸馏）

1ncludeSteven

07-27

332

使用教师模型蒸馏学生模型（小模型），使得学生模型尽可能在数学推理任务中表现更好，评分标准由4个指标组成：Overall Score=0.4×AS+0.3×CQS+0.2×ES+0.1×MLS。通过上述方法构建了3个对应的数据集，目前想要对最终的模型使用的数据集进行消融实验，训练及评分过程较慢。三个数据集合并后共包含2126条数据。模型微调后，创建应用，发布服务即可提交赛题，目前赛题评分中，待更新最后分数。

跨境支付入门～国际支付结算（风控篇）

lkf19711的博客

07-25

951

跨境支付企业的"吞金兽"：风控系统成为最大成本黑洞。这类系统需采购海量第三方数据（年费超千万），并应对国际卡组织的高额合规要求（如VISA系统年增300万美元成本）。核心防控AML（反洗钱）和CFT（反恐融资）风险，通过四阶KYC认证体系（证件核验到持续监控）和KYB企业审查（股权穿透到贸易背景验证）。采用AI检测（准确率98.7%）、知识图谱等技术，并实施分级审核策略（CDD/EDD）。风控系统需融合3000+规则引擎和机器学习模型，实现全流程监控，是跨境支付企业的生死线。

SpringAI入门及浅实践，实战 Spring‎ AI 调用大模型、提示词工程、对话记忆、Adv‎isor 的使用

最新发布

WDJ54068923的博客

07-28

793

本文摘要：文章系统介绍了Spring AI中关于提示词工程（Prompt）与对话记忆的核心知识点。提示词工程部分详解了提示词的基本概念与分类（基于角色/功能），并总结了14条优化技巧，强调清晰指令、结构化输出和任务拆解等关键点。对话记忆部分展示了通过ChatClient实现多轮对话的多种方式，包括构造器注入、建造者模式、不同响应格式（ChatResponse/实体对象/流式返回）以及动态提示词模板的应用。全文通过代码示例直观呈现了Spring AI处理AI交互的核心技术方案。

RoPE：相对位置编码的旋转革命——原理、演进与大模型应用全景

拒绝AI玄学，只聊真技术▲

07-26

1281

RoPE通过几何旋转的统一框架，实现了位置编码的相对性、可逆性与外推性的平衡，成为大模型位置感知的基石技术。跨模态统一：N维李群框架支撑视频、3D点云位置建模动态频率学习：替代预设θbaseθbase，实现任务自适应编码鲁棒性增强：融合FoPE思想抵抗深层频谱损坏RoPE的本质是将位置关系映射为复数空间的旋转群——它不仅是Transformer的“位置感知器”，更是AI理解时空的数学透镜。当旋转矩阵的维度从文本扩展到图像、视频乃至物理世界，位置编码的数学之美正在重构AI对世界的认知方式。

大模型开发

2302_81352523的博客

07-23

1260

AI（人工智能）是使机器具备类人思考和解决问题能力的技术，其核心是Transformer神经网络模型（如GPT）。大模型应用结合传统编程实现记忆等复杂功能，应用开发技术包括Prompt问答、微调、Agent调用和RAG（外挂知识库），适用于客服、医疗、办公自动化等场景。AI通过数据训练掌握语言规律，处理模糊性问题，与传统程序互补形成强大应用。

统计与大数据分析与数学金融方向课程差异有哪些？如何提升职场竞争力？

LRQ2025的博客

07-23

1168

统计与大数据分析和数学金融专业存在显著课程重叠（概率统计、编程、优化等），但主攻方向不同。统计侧重机器学习、大数据处理及广泛领域应用；数学金融则深入金融建模、衍生品定价等专业领域。建议新生结合兴趣（数据算法vs金融建模）与职业规划（数据科学家vs量化分析师），利用大一大二共同基础课程进行体验后选择。两个专业基础课高度相似，扎实掌握数学与编程核心能力是关键。

人工智能与交通：智能出行的变革与突破

一套方法论打通全栈闭环，从 0 到 1 教你驾驭需求、设计、开发、项目、课题、论文和软著，速成全栈王者！

07-25

993

AI 驱动的智能交通不仅是技术升级，更是对城市空间、能源利用、社会分工的全面重构。从自动驾驶解放人类的驾驶时间，到智能调度让城市告别拥堵，再到绿色交通助力碳中和，每一项进步都在重新定义 “出行” 的意义 —— 从 “必要的负担” 变为 “高效、安全、愉悦的体验”。实现这一愿景需要技术突破、法规创新、社会协同的多方努力。当技术足够成熟、法规足够清晰、公众足够信任时，智能交通将成为 “未来城市” 的血管系统，支撑起更高效、更公平、更可持续的人类生活方式。

人工智能时代的战略竞争优势商业模式创新培训讲师培训师专家咨询顾问唐兴通谈个性化在制造业金融业医疗医药石油化工SARS软件行业大客户营销与销售背后的价值

Akibfrycc的博客

07-26

750

这让我想起《孙子兵法》中的"迅雷不及掩耳"——当你的竞争对手还在为季度营销计划绞尽脑汁时，真正的领导者已经构建了能够同时运行数百个覆盖数百万客户的实验系统，在短短几天内就能提取洞察，并将其融入下一轮互动。他们深谙个性化的真谛：结合智能整合与自动化，在敏捷团队中跨越功能孤岛，将测试和学习的时间线压缩至小时级别，月度实验数量提升至数千个。真正的个性化能力竞争是组织能力的竞争。今日，不知多少企业迷信于购买昂贵的营销自动化平台，招揽数据科学家，实施CRM系统，却依然无法真正理解客户，更遑论预测需求、创造价值。