DeepSpeed 和 VLLM 模型加速技术详解

原创 已于 2024-04-26 11:30:08 修改 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大模型

于 2024-04-25 18:49:45 首次发布
本文介绍了一种名为VLLM的技术，它通过引入PageAttention，解决了注意力机制中内存碎片问题。VLLM借鉴分页系统原理，隔离物理和逻辑内存，有效降低内存占用，从而实现更大的batch_size和提高吞吐量。

VLLM

vLLM使用了PageAttention技术，对模型推理进行加速。 在注意力机制中，每个token有KEY, VALUE两个张量，这两个张量在存储分配显存的时候，预留出大量的空间，导致碎片化的浪费，VLLM通过借鉴操作系统的分页思想，隔离物理和逻辑内存，中间记录处理内存地址，从而降低内存的占用，提高了batch_zize, 吞吐量。

LLM部署之vllm vs deepspeed
xiaomu_347的博客
06-19 232
LLM 模型部署
【LLM】大模型SFT技术总结（数据|训练|评估）
发现问题，并解决问题，批判性思维
11-04 6433
# 一、背景篇 ## 1. Special Token pretrain 阶段完全没见过的 token，在sft 阶段会被赋予全新的语义。主要用于标注对话的角色：user、assistant、system 这些。 此外，special_token 可以用来“构造知识”，比如"喜欢"这种知识一定是 sft 阶段才会见到的，可以剔除掉 pretrain 先验知识的影响，用来验证 sft 的训练情况，比如会不会过拟合。 我默认大家都知道怎么用 special_token 去拼 prompt，如果不熟悉，看下
推理引擎使用与实践：vLLM × DeepSpeed × TensorRT 全流程拆解
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-19 1408
你训练好了大模型、调好了 Prompt、模型表现也不错，但一上线就掉帧、延迟飙升、显存爆炸？ 问题不在模型本身，而在你还没有真正理解推理引擎的工作方式。 本篇文章从一名 AI 系统专家视角，系统讲解如何基于 vLLM、DeepSpeed-Inference 与 TensorRT 构建高吞吐、低延迟的推理服务，涵盖从模型加载、KV Cache 管理、动态批处理、量化部署到多模型切换的关键机制与实践技巧。
vLLM—— 用于加速大模型推理
最新发布
Shmily17s的博客
09-14 1205
vLLM是一个用于快速LLM推理和服务的开源库，利用分页注意力（PagedAttention）有效的管理注意力key和value，增加模型的吞吐量。vLLM整体架构。
DeepSpeed、vLLM 和 torchrun
a533855的博客
10-22 2945
DeepSpeedvLLM和torchrun都是与和相关的工具或框架，但它们关注的领域和功能有所不同。
常用推理加速框架及用法(vLLM/DeepSpeed-MII/LightLLM/TensorRT-LLM)
llptyy的博客
04-27 1万+
常用推理框架及用法（vLLM/DeepSpeed-MII/LightLLM/TensorRT_LLM）
vLLM、Megatron-LM、DeepSpeed、ONNX Runtime 的介绍
keyboard专栏
02-05 1729
llm工具的介绍
Transformer加速工具包：探索 vLLM、DeepSpeed 和 CTranslate2【通俗易懂，附代码】
xiaoh_7的博客
07-15 2079
在我最近的学习中，简单了解了几种用于加速 Transformer 模型的工具包，包括 vLLM、DeepSpeed 和 CTranslate2。每个工具包都有其独特的优势和适用场景，做个笔记，记录一些心得和简单的使用方法（包括了NLP和CV方面的transformer）。CTranslate2 是一个高效的推理引擎，专为 Transformer 模型优化，特别适用于机器翻译和其他自然语言处理任务。使用 DeepSpeed 后，可以高效地训练 ViT 模型，并且显存占用大幅减少，极大提升了训练效率。
大语言模型推理加速技术：计算加速篇
张伟的专栏
02-26 3668
其中Q,K,V是模型的三个矩阵。context phase也叫prefill phase：需要计算整个prompt的自注意力，q_input, k_input, v_input大小都为[seq_len, emb_dim]，即整个prompt的embedding，context phase只需要进行一次，生成第一个token。
【DeepSeek实战】5、DeepSeek大模型分布式部署：从vLLM到K8s+Ray的生产级实践
RickyIT的专栏
07-01 1194
《大模型分布式部署技术解析与实战》 摘要：本文针对DeepSeek系列大模型（7B/70B）的分布式部署需求，系统分析了三大主流技术方案。文章首先剖析了大模型分布式部署的核心挑战，包括模型并行策略（张量并行、流水线并行、专家并行）和通信调度技术（NVLink、InfiniBand、NCCL），并对比了不同并行策略的适用场景。重点介绍了vLLM单机多卡部署方案，详细展示了离线批量推理和在线API服务两种模式的具体实现，包括环境准备、代码示例和性能优化技巧。通过完整的架构解析和实战案例，为工业级大模型部署提供了
百川大模型微调指令详解
qq_28704101的博客
07-24 1729
设定 beta2 为 0.98 比默认的 0.999 稍低，可能会使得优化过程对历史信息的依赖程度降低，从而提高优化过程的灵活性，但也可能增加训练过程中的噪声。在使用 Adam 或其他类似的优化算法（如 RMSprop、Adagrad）时，历史梯度对当前梯度的影响主要体现在如何计算梯度的动量（即梯度的移动平均）和梯度的平方的动量（即梯度平方的移动平均）。它影响训练过程的效率、显存使用和模型性能。这允许你在使用较小的批次大小的同时，相当于使用更大的批次进行训练，从而在硬件资源受限的情况下获得更大的批次效果。
【大模型岗位深度技术面试题及详解】
成长之路
05-30 757
本文总结了分布式训练优化、参数微调和RLHF技术的面试要点。主要内容包括：1）DeepSpeed ZeRO三阶段的特点与适用场景，如ZeRO-3适用于72B大模型；2）显存估算方法，以Qwen2-72B为例分析参数、梯度和优化器状态对显存的影响；3）LoRA微调原理与优化方法，如PiSSA初始化；4）RLHF技术对比，分析PPO和DPO的算法差异及适用场景。文章还提供了显存计算示例、代码实现和面试常见问题解答，适合大模型岗位面试准备。
【深度学习】使用vLLM作推理加速
Dong_ZH的博客
03-11 1334
将微调后的模型部署到线上后，需要用到模型的推理加速，记录使用vLLM的推理加速流程。
在Win11上部署大模型推理加速工具vLLM
培根芝士的专栏
04-08 2万+
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法PagedAttention，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。
DeepSpeed模型训练加速详解
夏沫の梦的博客
11-11 2080
DeepSpeed是一个由微软开发的开源深度学习优化库，基于pytorch构建，旨在提高大规模模型训练的效率和可扩展性。它通过多种技术手段来加速训练，包括模型并行化、梯度累积、动态精度缩放、本地模式混合精度等。DeepSpeed还提供了一些辅助工具，如分布式训练管理、内存优化和模型压缩等，以帮助开发者更好地管理和优化大规模深度学习训练任务。
从头讲解vLLM推理加速原理
m0_59164520的博客
09-03 5569
vLLM 解决了 LLM 部署中的一个关键瓶颈：推理和服务效率低下。使用创新的 PagedAttention 技术，vLLM 优化了核心注意操作期间的内存使用，从而显著提高了性能。这意味着更快的推理速度和在资源受限的硬件上运行 LLM 的能力。
LLM推理引擎性能评测对比：vllm、lmdeploy、tensorrt-llm
stephen147的博客
06-28 1万+
但从使用体验上看，vllm，lmdeploy使用方便，直接从model hub下载模型即可，而tensorrt-llm需要转换和编译模型，并且创建合适的引擎环境也有一定的成本，需要tensorrt-llm，triton server以及tensorrt-llm backend，格步骤参数有一定关联性，极易出错，总体使用成本对比会高不少。在prefill阶段后返回的第一个token的时间，在stream输出模式下，对体验影响大，越小用户等待返回第一个token时间越小，体验越好。每秒处理完成的请求数。
vLLM和DeepSpeed部署模型的优缺点
keyboard专栏
11-30 2463
和都是用于大规模深度学习模型部署和加速的工具，但它们在目标、功能和使用场景上有所不同。
[LLM]大模型训练DeepSpeed(一)-原理介绍
热门推荐
摩登都市天空---专栏
05-17 6万+
DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。与其他框架相比，DeepSpeed支持更大规模的模型和提供更多的优化策略和工具。其中，主要优势在于支持更大规模的模型、提供了更多的优化策略和工具（例如 ZeRO 和 Offload 等）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值