VLLM历次会议(2024.6)

原创 已于 2025-02-13 00:32:24 修改 · 252 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#GPU #大模型

于 2025-02-13 00:29:53 首次发布

VLLM功能矩阵

chunked prefill

qps上来以后，延迟能有明显的优化。

原理就是新到request的prefill，不阻塞正在decode的request。

FP8量化的支持

动态量化，即激活是在推理阶段进行量化，不需要提前calibration:

FlashInfer

NCCL和custom allreduce(应该就是指one-shot和two-shot以及half-bufferfly那些，小数据量通信情况下，降低延迟用的）

Speculative Decoding

和continous batching一起使用时，为什么加速比和qps有关？

最低0.47元/天 解锁文章
VLLM历次会议(2024.1)
smartcat2010的博客
02-09 464
two-shot的实现，是先reduce-scatter，每个node读取所有node上的一部分数组，加和之后，再all-gather广播到所有node使得每个node上有完整的加和后数组。one-shot的实现，是all-to-all，每个node一把读取所有node上的整个数组。传输数据量小时，latency-bound，因此NCCL的double-tree和ring-allreduce的延迟较大。3. 支持量化：GPTQ，AWQ，SqueezeLM，FP8-E5M2 KV cache。
VLLM历次会议(2024.4)
smartcat2010的博客
02-12 333
latency可以显著减少。VLLM continous batching是prefill优先。Sarathi-Serve用了chunked-prefill。VLLM后续会做这个。预先算好KV cache，遇见公共前缀，复用之，避免再计算一遍。增加Marlin Kernel，INT4 quantization时可加速。场景：1. 多轮对话。2.公共的system prompt。支持正则表达式、JSON格式等。通过Outlines工具实现。
总结版 | vLLM这一年的新特性以及后续规划
CV_Autobot的博客
11-10 3945
作者|oldpan编辑| 自动驾驶之心点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『视觉大语言模型』技术交流群本文只做学术分享，如有侵权，联系删文本文来自The State of vLLM | Ray Summit 2024 && RoadMap的分享，带大家一起回顾下vllm发展历史、过去一...
VLLM历次会议(2024.9)
smartcat2010的博客
02-15 439
多模态上做了很多新功能。
VLLM历次会议(2024.7)
smartcat2010的博客
02-13 254
vllm git下的子项目：llm-compressor。CPU-GPU之间有NVLink。的机器上，变慢的幅度小。
VLLM历次会议(2023.10)
smartcat2010的博客
02-09 214
PagedAttention: 类似OS的虚存分页那样，管理KV Cache显存。
PyCharm 2024.1最新变化
技术日常
08-04 542
PyCharm 2024.1版本在性能、功能和用户体验等方面都有了显著提升,为开发者带来更高效和愉悦的工作体验。请访问JetBrains官方网站或查阅官方发布文档以获取最新的和更详尽的更新细节。截至2023年12月，PyCharm 2024.1版本的具体更新内容尚未确定。
美国联邦基金有效利率及目标利率历史数据集（1990.1-2024.9）
T0620514的博客
09-20 2052
美联储在2024年9月18日宣布将其调50个基点，降至4.75%至5.00%之间的水平。这是美联储自2020年3月以来首次降息，也是自2023年7月将利率水平调升至历史高位后的首次下调，标志着货币政策由紧缩周期向宽松周期的转向。数据名称：美国联邦基金有效利率、目标利率历史数据。数据年份：1990.1-2024.9。数据说明：包括有效利率、目标利率。更新日期：2024年9月。样本数量：12667条。美国联邦基金有效利率。联邦基金目标利率数据。联邦基金有效利率数据。
6. 堆空间
幻心的博客
06-21 774
笔记来源：尚硅谷JVM全套教程，百万播放，全网巅峰（宋红康详解java虚拟机） 目录 6. 堆 6.1. 堆（Heap）的核心概述 6.1.1. 堆内存细分 6.1.2. 堆空间内部结构（JDK7） 6.1.3. 堆空间内部结构（JDK8） 6.2. 设置堆内存大小与OOM 6.2.1. 堆空间大小的设置 6.2.2. OutOfMemory举例 6.3. 年轻代与老年代 6.4. 图解对象分配过程 6.5. Minor GC，MajorGC、Full GC 6.5.1. ..
贷款基准利率调整表2012及历次调整..doc
11-14
贷款基准利率调整表2012及历次调整..doc
基于C#与MySQL的高分课程设计：人事工资管理系统完整源码与数据库
12-05
本资源提供了一套采用C#编程语言结合MySQL数据库技术构建的企业人力资源与薪酬管理软件解决方案。该方案包含完整的程序源代码及配套的结构化数据存储文件，专为满足高等院校计算机相关专业课程设计或毕业设计的高标准要求而准备，其设计目标旨在获得不低于九十五分的优异评价。 整套材料经过系统化整合与严格测试，确保了各功能模块的完整性与可执行性。用户获取后无需进行额外的环境配置或代码调整，即可直接部署并启动运行。系统架构严谨，实现了对企业员工信息档案、考勤记录、绩效评估及薪资核算等核心业务流程的数字化管理，显著提升了相关事务的处理效率与准确性。 该软件工程实践案例不仅展示了C#在Windows桌面应用开发中的实际应用，也体现了MySQL在中小型数据管理场景下的稳定表现，适合作为学习现代软件开发流程与数据库设计原理的参考范例。 资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
产品碳足迹软件，全球前10强生产商排名及市场份额（by QYResearch）.pdf
12-05
产品碳足迹软件，全球前10强生产商排名及市场份额（by QYResearch）.pdf
深入浅出Core Data开发
12-05
本书系统讲解了Core Data在iOS开发中的应用，涵盖数据建模、增删改查、迁移与版本控制等核心技术。通过构建真实项目，读者可掌握高效数据管理的最佳实践，理解NSManagedObject、NSFetchRequest及NSFetchedResultsController等关键类的工作机制。书中还融合了iCloud同步、多设备通信与高级UI设计，帮助开发者打造高性能、易维护的移动应用。适合具备基础iOS知识的进阶开发者阅读。
Rails测试实战指南
12-05
本书系统讲解Rails应用中的自动化测试实践，涵盖单元测试、功能测试、集成测试与验收测试。通过真实案例深入探讨Test::Unit、Shoulda、RSpec、Cucumber等主流测试框架的使用技巧，并介绍测试数据管理、模拟对象、覆盖率分析及遗留系统测试等关键主题。强调测试驱动开发（TDD）在提升代码质量与开发效率中的核心作用，帮助开发者构建健壮、可维护的Rails应用。
基于C++与Qt的消消乐游戏可视化系统设计与实现（附完整源码）
12-05
本资源提供一款采用C++编程语言并结合Qt图形界面框架实现的消除类益智游戏完整开发方案，包含全部可执行程序与源代码。该方案特别适用于高等院校计算机相关专业的毕业设计、课程实践或软件开发项目等教学与科研场景。项目代码结构清晰、注释详尽，且已通过系统化功能验证与稳定性测试，具备较高的可靠性与可复用性。使用者可基于现有代码框架进行功能扩展、算法优化或界面定制等二次开发，为学习面向对象程序设计、图形界面开发及游戏设计原理提供实践参考。 资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
基于Java Web的服装销售系统的设计与实现源码.zip
12-05
基于Java Web的服装销售系统的设计与实现源码.zip
Python自动化抢票插件开发：秀动网票务监控与快速下单系统
最新发布
12-05
在数字化环境中，线上票务获取已成为参与各类活动的主要途径。随着公众对热门演出需求的增长，票源往往在开放销售后迅速告罄，导致普通消费者难以顺利购得所需票券。为应对这一挑战，部分技术开发者借助编程手段构建了自动化购票辅助程序，旨在提升用户成功获取门票的概率。本文将以一个针对特定票务平台设计的自动化工具为例，系统阐述其设计理念、技术组成及具体实施流程。 秀动网作为国内知名的演出及体育赛事票务销售平台，因活动热度较高，常出现访问拥堵、瞬时抢购压力大等现象，使得常规购票过程面临困难。因此，开发一款能够协助用户更有效完成票务申购的辅助工具具有实际意义。 该工具主要具备以下几项关键功能：持续监控目标平台的票务信息更新；在票务释放时自动执行选座、添加至购物车及提交订单等系列操作；集成一定的异常处理机制，以应对网络延迟或服务器响应异常等情况。 在技术实现层面，选用Python作为开发语言，主要基于其语法简洁、标准库与第三方资源丰富，适合快速构建功能原型。同时，Python在网络通信与浏览器自动化方面拥有如requests、selenium等成熟支持库，为程序实现网页交互与数据抓取提供了便利。 开发过程主要包括以下环节：首先解析目标网站的页面结构，明确可通过程序操控的网页元素路径；随后编写监控模块，实时检测新票务信息的上线并及时触发后续操作；接着模拟用户操作流程，包括自动填写个人信息、选择座位偏好、完成购物车添加等步骤，并通过行为模拟降低被平台反爬虫机制识别的可能；最终实现订单自动提交，并在成功购票后向用户发送通知。 此外，该工具提供了可配置的操作界面，允许用户根据个人需求设定抢票时间、目标活动类型及座位选择等参数，从而在提升使用体验的同时，减少对票务平台服务器资源的非必要占用。 需指出的是，尽管此类工具能提高购票效率，但其使用可能涉及违反平台服务协议或相关法规的风险。各票务销售方通常对自动化抢票行为设有明确约束，因此开发与使用者均应遵守相应规定，确保技术应用的合法性。 综上所述，该基于Python的票务辅助工具是针对特定场景设计的自动化解决方案，通过技术手段改善用户购票体验，但同时也强调必须在法律与平台规则框架内合理使用此类技术。 资源来源于网络分享，仅用于学习交流使用，请勿用于商业，如有侵权请联系我删除！
liehuoQ_matlab-Operations-Research_29100_1764909947922.zip
12-05
liehuoQ_matlab-Operations-Research_29100_1764909947922.zip
MATLAB主动噪声和振动控制算法-对较大的次级路径变化具有鲁棒性
12-05
MATLAB主动噪声和振动控制算法——对较大的次级路径变化具有鲁棒性内容概要：本文档主要介绍了一套基于MATLAB的主动噪声和振动控制算法，重点在于该算法对较大的次级路径变化具有良好的鲁棒性。文中还列举了多个MATLAB代码实现案例，涵盖电力系统、信号处理、机器学习、路径规划、图像处理等多个科研领域，展示了MATLAB在工程仿真与科研分析中的广泛应用。此外，文档提供了相关资源的网盘下载链接，便于读者获取完整的代码与资料。; 适合人群：具备一定MATLAB编程基础，从事工程仿真、信号处理、控制系统设计等相关领域的科研人员及研究生。; 使用场景及目标：①研究主动噪声与振动控制系统的鲁棒性设计；②利用MATLAB实现各类工程仿真与算法开发；③辅助科研项目中的算法验证与系统建模。; 阅读建议：建议读者结合提供的MATLAB代码实例进行实践操作，重点关注算法实现细节与参数调优过程，同时参考网盘资源进行深入学习与扩展应用。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值