DistZO2: High-Throughput and Memory-Efficient ZerothOrder Fine-tuning LLMs with Distributed Parallel

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量39 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM Training 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/149907344

在这里插入图片描述

文章主要内容和创新点

主要内容

本文提出了DistZO2，一个高吞吐量、内存高效的分布式零阶（zeroth-order, ZO）微调框架，用于大规模语言模型（LLMs）的微调。零阶优化通过仅使用前向计算估计梯度（无需反向传播），大幅降低内存消耗，但现有ZO2框架受限于单设备执行，吞吐量较低。DistZO2在ZO2的内存高效设计基础上，引入分布式并行策略和通信优化，实现了多GPU系统上的高效零阶微调，在OPT-175B模型上实现了相较于ZO2的3倍加速，同时保持低内存占用（单GPU内存可低于20GB）。

创新点

  1. 三种并行策略：

    • 扰动并行（Perturbation Parallelism, PertP）：将零阶优化所需的两个扰动前向传播（+ϵz和-ϵz）分配到不同设备并行执行，利用两者的独立性提升吞吐量。
    • 分布式数据并行（Distributed Data Parallelism, DDP）：适配零阶训练的标量梯度特性，通过同步标量投影梯度而非完整张量，实现高效模型复制和数据并行。
    • 2D并行：融合PertP和DDP，形成“扰动方向-数据批次”的二维并行框架，支持更多GPU的高效扩展。

  2. 硬件感知

了解本专栏 订阅专栏 解锁全文 超级会员免费看
生成式 AI 详解
m0_70960708的博客
08-04 234
该评估基准包括更具挑战性的任务（more challenging tasks）、多样化的任务格式（diverse task formats）和人类表现水平的基准（comprehensive human baselines），使其成为评估语言模型能力的一个比较复杂且广为被大众接受的基准。在 RLHF 中，Agent（我们微调的指令 LLM）在其环境（上下文窗口）中，从行动空间（action space，LLM中的所有tokens/单词）中的所有可用行动中选择一项行动（生成文本）。
LLMs之MoE之DeepSeek-V3：《DeepSeek-V3 Technical Report》翻译与解读(DeepSeek-V3的最详细解读)
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-23 9800
​ LLMs之MoE之DeepSeek-V3：《DeepSeek-V3 Technical Report》翻译与解读(DeepSeek-V3的最详细解读) 目录 相关文章 《DeepSeek-V3 Technical Report》翻译与解读 Abstract 1、Introduction 2、Architecture 3、Infrastructures
LLMs之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-26 3005
​ LLM之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻译与解读 目录 《FLM-101B: An Open LLM and How to Train It with $100K Budget》翻译与解读 Abstract摘要 1 Introduction引言 2 Design Overview of FLM-101B—FLM-1
LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-31 6100
​ LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 目录 《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 Abstract 1、Introduction介绍 2、Background背景 3、BLOOM
MCP Bridge: A Lightweight, LLM-Agnostic RESTful Proxy for Model Context Protocol Servers
AI天才研究院
06-12 748
Arash Ahmadi , Sarah Sharif , Yaser M. Banad 1 1 1*1* School of Electrical, and Computer Engineering, University of Oklahoma, Norman, Oklahoma, United States.*Corresponding author(s). E-mail(s): bana@ou.edu; Contributing authors: arash.ahmadi-1@ou.edu; s.s
2024大模型的新综述速递！Training and Serving System of Foundation Models: A Comprehensive Survey
陈超帅的博客
01-22 2048
2024大模型（基座模型）的新综述速递！Training and Serving System of Foundation Models: A Comprehensive Survey
【LLMs篇】08：LLM推理加速的方法与实践
u013010473的博客
03-24 1647
大语言模型（LLM）的强大能力伴随着高昂的推理成本。在推理阶段，LLM需要逐字逐句地自回归生成文本，这导致计算延迟高、内存占用大、吞吐低等挑战
LLM时代中的AI推理优化
世事难料，保持低调
06-15 7937
毫无疑问，AI是当下最热的话题之一，而大模型又是当前AI的主角。几年前，正当深度学习进入瓶颈时，以GPT为首的LLM的横空出世让之似乎又找到了“第二增长曲线”。当模型规模大到一定程度时，它所表现出来的涌现能力（Emergent ability）是之前在小模型中所不曾见过的。这种大模型所特有的推理、计算等能力给我们带来了无穷的想象空间。但是，它的代价是模型和以往模型相比增大了成百上千倍。要玩大模型十亿参数基本是个入门级门槛，上百亿才算像点样。各个大公司为了争夺大模型的话语权，更是将大模型越“卷”越大。
大模型训练中CUDA out of memory的几种解决方法
smartcat2010的博客
05-26 2208
2. 如果需要较大的batch size来达到预期训练指标效果，则使用gradient accumulation来累积梯度，达到等价效果的同时，占用显存小；6. 缓解PyTorch的显存碎片；PYTORCH_CUDA_ALLOC_CONF和max_split_size_mb。3. 使用低精度做训练。torch.cuda.empty_cache()10. 使用nvidia-smi看到该GPU上的其他进程；9. Model并行或者Pipeline并行，把模型拆分至多卡。4. 减小训练数据样本的长度。
1 bit LLM and 1 trit LLM
maxzcl的博客
03-22 1229
In light of NV's recent addition of fp4, I'm once again curious about the bottom line for LLM, at least for inference; let's go back to this BitNet paper from Microsoft, featuring 1 bit LLM, with 1-bit weights trained from scatch, and later on another feat
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 157
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 374
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 285
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 51
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1534
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 462
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 161
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 633
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 16
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
(MonkeyOCR) ubuntu@ubuntu-Lenovo-Product:~/MonkeyOCR/docker$ pip show vllm Name: vllm Version: 0.9.1 Summary: A high-throughput and memory-efficient inference and serving engine for LLMs Home-page: https://github.com/vllm-project/vllm Author: vLLM Team Author-email: License-Expression: Apache-2.0 Location: /home/ubuntu/miniconda3/envs/MonkeyOCR/lib/python3.10/site-packages Requires: aiohttp, blake3, cachetools, cloudpickle, compressed-tensors, depyf, einops, fastapi, filelock, gguf, huggingface-hub, lark, llguidance, lm-format-enforcer, mistral_common, msgspec, ninja, numba, numpy, openai, opencv-python-headless, opentelemetry-api, opentelemetry-exporter-otlp, opentelemetry-sdk, opentelemetry-semantic-conventions-ai, outlines, partial-json-parser, pillow, prometheus-fastapi-instrumentator, prometheus_client, protobuf, psutil, py-cpuinfo, pydantic, python-json-logger, pyyaml, pyzmq, ray, regex, requests, scipy, sentencepiece, tiktoken, tokenizers, torch, torchaudio, torchvision, tqdm, transformers, typing_extensions, watchfiles, xformers, xgrammar Required-by: 还是报错
07-08
<think>我们遇到了一个看似矛盾的问题：用户已经通过pip安装了vLLM，但MonkeyOCR仍然报告`ImportError: vLLM is not installed`。这种问题通常与环境配置有关，我们需要系统性地排查。 ### 核心问题定位 1. **环境隔离问题**：MonkeyOCR运行的环境与实际安装vLLM的环境可能不同（如虚拟环境、容器环境、系统路径等） 2. **版本兼容问题**：安装的vLLM版本可能与MonkeyOCR要求的版本不匹配 3. **CUDA依赖缺失**：vLLM需要特定版本的CUDA和NVIDIA驱动，若缺失则实际无法使用 4. **权限问题**：安装过程中可能因权限不足导致部分文件未正确写入 ### 系统化解决方案 #### 步骤1：验证环境一致性 在MonkeyOCR运行的同一环境中执行以下命令： ```bash # 查看当前Python解释器路径 which python # 检查当前环境中安装的包 pip list | grep vllm # 尝试在Python中导入vLLM python -c "import vllm; print(vllm.__version__)" ``` 若以上命令失败，则证明vLLM未安装到当前环境。常见原因： - 使用系统Python但通过`pip`安装到了用户目录（`~/.local/bin`不在PATH中） - 在虚拟环境中运行MonkeyOCR但未激活环境 - Docker容器内未安装vLLM #### 步骤2：解决路径问题 若vLLM安装在其他路径，需将其加入Python搜索路径： ```python import sys sys.path.append("/path/to/vllm") # 替换为实际路径 ``` 但更推荐重新安装到正确环境： ```bash # 确认目标环境Python路径 /path/to/python -m pip install vllm ``` #### 步骤3：检查CUDA兼容性 即使vLLM安装成功，若CUDA不可用也会触发类似错误： ```bash # 验证CUDA状态 nvidia-smi # 应显示GPU信息 echo $CUDA_HOME # 应返回CUDA路径 # 在Python中测试CUDA可用性 python -c "import torch; print(torch.cuda.is_available())" ``` 若输出`False`，则需： - 安装匹配的[NVIDIA驱动](https://www.nvidia.com/Download/index.aspx) - 安装CUDA Toolkit（[v11.8](https://developer.nvidia.com/cuda-11-8-0-download-archive)） - 在Docker中运行时添加`--gpus all`参数[^2] #### 步骤4：重装兼容版本 指定兼容版本重装vLLM： ```bash pip uninstall -y vllm pip install vllm==0.2.6 # 使用MonkeyOCR验证过的版本 ``` #### 步骤5：容器环境特殊处理 若在Docker中运行： 1. 确保基础镜像包含CUDA支持（如`nvidia/cuda:11.8.0-base`） 2. Dockerfile中显式安装vLLM： ```dockerfile FROM nvidia/cuda:11.8.0-base RUN pip install vllm==0.2.6 ... ``` #### 替代方案：禁用vLLM后端 若问题仍无法解决，可改用HuggingFace后端（性能下降但更通用）： ```python # 修改MonkeyOCR配置 # config.yaml model: use_vllm: false # 禁用vLLM ``` ### 典型错误场景分析 | 场景 | 现象 | 解决方案 | |------|------|----------| | 多Python环境 | 终端可导入但运行时失败 | 使用绝对路径调用Python | | 权限不足 | 安装时出现Permission denied | 添加`--user`或使用sudo | | CUDA版本不匹配 | `vllm`安装成功但import报错 | 升级CUDA至11.8+ | | 旧版NVIDIA驱动 | `torch.cuda.is_available()`返回False | 升级驱动至535+版本 | > **关键提示**：MonkeyOCR的`MonkeyChat_vLLM`类会显式检查`import vllm`是否成功[^1]，因此只要导入失败就会抛出此异常，与实际功能无关。 §§相关问题§§ 1. 如何为MonkeyOCR创建隔离的Python虚拟环境？ 2. vLLM与不同CUDA版本的兼容性矩阵是怎样的？ 3. 如何在Dockerfile中正确配置vLLM依赖？ 4. MonkeyOCR支持哪些非vLLM的推理后端？ 5. 如何验证vLLM是否能在当前GPU上正常运行？</think>### 问题分析：vLLM 已安装但 MonkeyOCR 仍报错的原因 当您确认已通过 `pip install vllm` 安装了 vLLM，但 MonkeyOCR 仍报 `ImportError: vLLM is not installed` 时，通常由以下原因导致： 1. **环境隔离问题**（最常见） MonkeyOCR 运行环境与实际安装环境不一致： ```bash # 检查当前环境Python路径 which python # 查看当前环境安装的包 pip list | grep vllm ``` 2. **CUDA 兼容性问题** vLLM 需要特定 CUDA 版本（≥11.8），不匹配会导致安装无效： ```bash nvcc --version # 查看CUDA版本 python -c "import torch; print(torch.cuda.is_available())" # 验证CUDA可用性 ``` 3. **权限/路径问题** 安装时未使用 `sudo` 或 `--user` 参数导致路径错误： ```bash echo $PYTHONPATH # 检查Python路径 ``` 4. **vLLM 组件未完整安装** 依赖项（如 flash-attention）未正确编译： ```bash pip show vllm | grep Location # 查看安装位置 ``` --- ### 解决方案步骤 #### 第一步：验证实际运行环境 在 **MonkeyOCR 启动脚本的相同环境** 中执行： ```bash # 进入Docker容器（如果使用容器） docker exec -it monkeyocr-api-1 /bin/bash # 在容器/虚拟环境内检查 python -c "import sys; print(sys.path)" # 查看模块搜索路径 python -c "import vllm" # 直接测试导入 ``` #### 第二步：强制重装 vLLM（指定版本） ```bash # 在目标环境内执行 pip uninstall -y vllm pip install --force-reinstall --no-cache-dir vllm==0.2.6 # 指定兼容版本 ``` #### 第三步：检查 CUDA 兼容性 ```bash # 确认CUDA可用性 nvidia-smi # 应显示GPU信息 python -c "from vllm import _C; print(_C.is_cuda_available())" # vLLM专用检查 ``` 若输出 `False`，需： 1. 升级 NVIDIA 驱动至 ≥535 版本 2. 安装 CUDA 11.8：`conda install cuda -c nvidia/label/cuda-11.8.0` #### 第四步：解决路径问题 在启动脚本前添加路径修复代码： ```python # 在 MonkeyOCR/api/main.py 的开头添加 import sys sys.path.append("/usr/local/lib/python3.10/site-packages") # 替换为实际路径 ``` #### 第五步：测试独立环境 创建纯净测试环境： ```bash python -m venv test_venv source test_venv/bin/activate pip install vllm python -c "import vllm; print('Success!')" ``` #### 替代方案：禁用 vLLM 后端 修改 MonkeyOCR 配置（临时方案）： ```yaml # config.yaml model: use_vllm: false # 切换为HuggingFace后端 ``` --- ### 关键检查点 | 检查项 | 正常状态 | 修复命令 | |--------|----------|----------| | Python 环境 | 与启动环境一致 | `source /path/to/venv/bin/activate` | | CUDA 版本 | ≥11.8 | `conda install cuda=11.8` | | vLLM 可导入 | 无报错 | `pip install --force-reinstall vllm` | | GPU 驱动 | ≥535 | `nvidia-smi -i 0` | > 若在 Docker 中运行，需确保容器有 GPU 访问权限： > `docker run --gpus all -it your_image`[^2]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值