UBC和LMSYS提出SGLang runtime

最新推荐文章于 2025-09-02 14:20:50 发布
原创 最新推荐文章于 2025-09-02 14:20:50 发布 · 476 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #人工智能 #深度学习

最低0.47元/天 解锁文章
大模型部署指南：SGLang 框架
举世誉之而不加劝，举世非之而不加沮，定乎内外之分，辩乎荣辱之境，斯已矣。
10-14 1155
本文介绍使用 SGLang 框架部署大模型
SGLang 高性能大语言模型（LLM）推理框架
技术引领业务创新
07-17 2092
摘要： SGLang是由LMSYS Org开发的高性能大语言模型推理框架，通过软硬件协同设计优化推理效率与控制灵活性。其核心架构采用分层优化，包括高效后端运行时系统（RadixAttention技术、CPU调度器等）、灵活前端DSL语言和广泛模型兼容性。关键技术突破涵盖Prefill-Decode分离架构、多Token预测与推测解码、极致量化优化等。性能测试显示其吞吐量较vLLM提升5倍，延迟降低60%+，支持千亿级模型的高效部署。应用场景覆盖金融风控、复杂Agent工作流等，生态系统兼容PyTorch并计
大模型推理引擎vllm，sglang，transformer，exllama详细介绍和区别
全世界的博客
09-10 1万+
在本文中，我们详细介绍了四种大模型推理引擎：vLLM、SG-Lang、Transformer和ExLlama。每种引擎都有其独特的技术特点、应用场景和优缺点。
SGlang 专为大模型设计的高效服务框架
kcarly的专栏
02-05 3839
SGlang 是一种高效、灵活且功能强大的服务框架，适用于开发和部署大型语言模型及视觉语言模型。它通过优化后端运行时和前端语言，显著提升了推理速度和灵活性，同时支持多模态输入和复杂的提示任务。无论是开发者还是企业用户，都可以借助 SGlang 实现高效、可控的模型应用开发。
从LLM到大模型推理的最新进展
Aweii__的博客
08-04 1364
大模型推理引擎经过一年多发展，进入了一个关键的调整期。一方面，针对定制集群的分离式架构出现，很多业务方自己定制更复杂的并行和调度方案。另一方面，LLM的用法更加复杂，催生了LLM Programs使用范式。此外，非NVIDIA的NPU如雨后春笋般涌现，它们独特的硬件特性亟待新的系统架构来充分挖掘与利用。在这一背景下，以vLLM为代表的开源LLM推理引擎正面临着前所未有的进化压力。而SGLang此次的升级，不仅从框架层面揭示了vLLM仍有巨大的提升潜力，也对LLM场景需求进行了一些探索，值得大家关注。
SGLang vs vLLM：大模型推理引擎的全面对比
随笔记录-分享&记忆
03-01 1万+
维度SGLangvLLM核心能力多轮对话、结构化输出、复杂任务优化高吞吐单轮推理、内存高效管理技术亮点RadixAttention、编译器式设计适用模型通用 LLM/VLM（如 LLaMA、DeepSeek）超大规模 LLM（如 GPT-4、Mixtral）开发门槛较高（需定制前端 DSL）较低（开箱即用）最终结论如果你追求灵活性和复杂任务支持，选SGLang。如果你追求极致的吞吐量和快速部署，选vLLM。
pygtracker:一个旨在存储，跟踪成绩，为UBC MDS程序提供成绩调整和排名的python软件包
03-06
pygtracker 包装概述 pygtracker是一个Python软件包，可让UBC MDS讲师记录... 因此，我们提出了这个有用的工具，可以帮助UBC MDS讲师更好地控制学生的表现。 特征 该软件包包含七个功能： register_courses ， record_g
matlab中inv的函数代码-UBC-gramag:学习UBC-GIF3D重力和磁反演的一些示例
05-24
这个库是我在学习UBC-GIF的重磁三维反演时候的一些笔记和代码 mark Introduction 整个GravForMedeling3D文件夹是从github clone过来的，不知道为什么无法显示原作者信息。 clone地址： 主要目的 建立反演数据的格式...
ubc-thesis:UBC大学本科论文的脚本和数据
03-05
【ubc-thesis:UBC大学本科论文的脚本和数据】是一个开源项目，主要针对的是加拿大不列颠哥伦比亚大学（UBC）的学生，提供了一套完整的工具集，用于撰写和管理本科毕业论文。这个项目的核心是利用Python编程语言来...
FLARE：飞行记录和恢复-UBC Rocket Competition航空电子固件
02-14
重要警告 非常重要，请读我！ 非常重要，请读我！ 非常重要，请读我！ uuuuuuu uu$$$$$$$$$$$uu uu$$$$$$$$$$$$$$$$$uu u$$$$$$$$$$$$$$$$$$$$$u u$$$$$$$$$$$$$$$$$$$$$$$u u$$$$$$$$$$$$$$$$$$$$$$$$$u ...
SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。
热门推荐
扶着老奶奶闯红灯
01-23 2万+
SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM 3，InternLM 2， Llama 3.2等。
【模型部署】大模型部署工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择？
扶着老奶奶闯红灯
02-07 6919
大模型部署工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择。在选择大模型部署工具时，需要考虑多个因素，包括性能、支持的语言和模型、硬件支持、易用性以及社区支持等。
SGLang——结构化语言模型程序的高效执行
知来者逆的博客
09-23 4205
实验表明，与各种大型语言和多模态模型上的最先进推理系统相比，SGLang 实现了高达 6.4 倍的吞吐量，可处理代理控制、逻辑推理、小样本学习基准、JSON 解码、检索增强生成管道和多轮聊天等任务。实验表明，与各种大型语言和多模态模型上的最先进推理系统相比，SGLang 实现了高达 6.4 倍的吞吐量，可处理代理控制、逻辑推理、小样本学习基准、JSON 解码、检索增强生成管道和多轮聊天等任务。较大模型的加速趋势与较小模型的加速趋势相似，表明 SGLang 的优化可以很好地推广到较大的模型。
AI模型产品经理成长之路：AI大模型产品经理学习全攻略，从入门到精通！
2401_84495872的博客
06-16 634
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
【LLM推理】Sglang推理框架使用入门
发现问题，并解决问题，批判性思维
07-05 3272
Sglang启动推理服务 （1）安装：`pip install "sglang[all]>=0.4.6.post1"`，截止20250705能用 （2）下面是一个基础的启动推理服务的例子，相关重要的参数有： - 该推理服务可以作为实现OpenAI API协议的服务器进行部署。默认情况下，它将在 http://localhost:30000 启动服务器。您可以通过 --host 和 --port 参数来自定义地址。 - `tensor-parallel-size`：使用张量并行的分布式推理，下面设置为4就是
SGLang推理引擎--高效的开源部署方案
最新发布
yuanmomoya的博客
09-02 1761
SGLang是一款高效的大语言模型与多模态开源推理引擎，通过系统级优化实现领先性能。核心特性包括支持DeepSeek MLA优化、MoE/EP并行、Prefill/Decode分离架构，以及猜测式解码和约束解码技术。其创新调度机制和分布式优化使吞吐量提升多倍，显著降低推理成本。SGLang已在多个场景验证性能优势，并形成活跃的开源社区。该项目通过技术创新推动大模型高效部署，为开发者提供高性能开源解决方案。
SGLang Runtime v0.2伯克利新AI推理引擎，出手即王炸，吊打TRT-LLM、vLLM！贾扬清点赞
强化学习曾小健
07-28 3610
SGLang是一种大语言模型和视觉语言模型的服务框架。它基于并改进了多个开源LLM服务引擎的优秀设计，包括LightLLM[4]、vLLM[5]和Guidance[6]。它利用了FlashInfer[7]的高性能注意力CUDA内核，并集成了受gpt-fast[8]启发的torch.compile。此外，我们还引入了如RadixAttention[9]自动KV缓存重用和压缩状态机[10]用于快速受限解码等创新。SGLang以其高效的批量调度器[11]而著称，完全用Python实现。
SGLang 实战介绍 (张量并行 / Qwen3 30B MoE 架构部署)
欢迎来到云逸的博客频道
05-08 3026
本文主要介绍了 SGLang 的基本特性以及核心概念。然后针对用三个示例，阐述 SGLang 的不同场景的用法。单机，分布式和 MoE 架构的模型部署等
探索SGLang：一个创新的编程语言与它的无限可能
gitblog_00054的博客
04-25 1557
探索SGLang：一个创新的编程语言与它的无限可能 sglangSGLang is a structured generation language designed for large language models (LLMs). It makes your interaction with models faster and more controllable.项目地址:https://g...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值