VLLM历次会议(2024.4)

原创 已于 2025-02-12 18:39:20 修改 · 337 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大模型 #GPU

于 2025-02-12 18:29:13 首次发布

Prefix Caching。预先算好KV cache，遇见公共前缀，复用之，避免再计算一遍。

场景：1. 多轮对话。2.公共的system prompt。

Guided Decoding(格式化输出)

通过Outlines工具实现。

支持正则表达式、JSON格式等。

输入：

输出：

MoE优化：

● Triton grouped GEMM kernel with tuned tile sizes

Marlin

增加Marlin Kernel，INT4 quantization时可加速。

Speculative Decoding

chunked-prefill的好处：

最低0.47元/天 解锁文章
VLLM历次会议(2024.1)
smartcat2010的博客
02-09 468
two-shot的实现，是先reduce-scatter，每个node读取所有node上的一部分数组，加和之后，再all-gather广播到所有node使得每个node上有完整的加和后数组。one-shot的实现，是all-to-all，每个node一把读取所有node上的整个数组。传输数据量小时，latency-bound，因此NCCL的double-tree和ring-allreduce的延迟较大。3. 支持量化：GPTQ，AWQ，SqueezeLM，FP8-E5M2 KV cache。
VLLM历次会议(2024.6)
smartcat2010的博客
02-13 255
NCCL和custom allreduce(应该就是指one-shot和two-shot以及half-bufferfly那些，小数据量通信情况下，降低延迟用的）原理就是新到request的prefill，不阻塞正在decode的request。和continous batching一起使用时，为什么加速比和qps有关？qps上来以后，延迟能有明显的优化。
【有啥问啥】大模型效率部署之Prefill-Decode分离
Chauvin的博客
06-27 1991
在 Prefill 阶段，模型将完整地处理用户输入的所有提示词（prompt），一次性完成前向计算，生成隐藏层的键值对缓存（KV 缓存），并输出生成序列的第一个 Token。这一阶段相当于用矩阵乘法并行计算整个输入序列，高效地利用了 GPU 的算力（进入 Decode 阶段后，模型开始自回归地逐步生成后续输出——每次仅处理一个新 Token，并利用前面累积的 KV 缓存计算注意力，产生下一个输出并更新 KV 缓存。
VLLM历次会议(2024.9)
smartcat2010的博客
02-15 445
多模态上做了很多新功能。
VLLM历次会议(2024.7)
smartcat2010的博客
02-13 257
vllm git下的子项目：llm-compressor。CPU-GPU之间有NVLink。的机器上，变慢的幅度小。
VLLM历次会议(2023.10)
smartcat2010的博客
02-09 218
PagedAttention: 类似OS的虚存分页那样，管理KV Cache显存。
PyCharm 2024.1最新变化
技术日常
08-04 551
PyCharm 2024.1版本在性能、功能和用户体验等方面都有了显著提升,为开发者带来更高效和愉悦的工作体验。请访问JetBrains官方网站或查阅官方发布文档以获取最新的和更详尽的更新细节。截至2023年12月，PyCharm 2024.1版本的具体更新内容尚未确定。
美国联邦基金有效利率及目标利率历史数据集（1990.1-2024.9）
T0620514的博客
09-20 2181
美联储在2024年9月18日宣布将其调50个基点，降至4.75%至5.00%之间的水平。这是美联储自2020年3月以来首次降息，也是自2023年7月将利率水平调升至历史高位后的首次下调，标志着货币政策由紧缩周期向宽松周期的转向。数据名称：美国联邦基金有效利率、目标利率历史数据。数据年份：1990.1-2024.9。数据说明：包括有效利率、目标利率。更新日期：2024年9月。样本数量：12667条。美国联邦基金有效利率。联邦基金目标利率数据。联邦基金有效利率数据。
node.js基于的学生健康管理系统程序+论文 可用于毕业设计
zhiwen203的博客
02-03 1113
通过构建一个集健康数据采集、存储、分析和预警于一体的管理系统，探索如何利用现代信息技术提升学生健康管理的效率和效果，为学校管理者、家长和学生提供科学决策支持。通过对学生健康数据的采集、分析和挖掘，提出一套适用于学生群体的健康管理方法和模型，为相关领域的理论研究提供新的视角和思路。[4] 罗斌，温丰蔚，曾晓钰，张亮，韦通明. 基于 Vue.js 的培训可视化系统开发与设计[J]. 现代工业经济和信息化，2021, 11(12): 54-56.安装完成后，通过命令提示符验证Node.js和NPM的安装情况。
贷款基准利率调整表2012及历次调整..doc
11-14
贷款基准利率调整表2012及历次调整..doc
含中间直流的三相电力电子变压器PET仿真模型（Simulink仿真实现）
12-16
含中间直流的三相电力电子变压器PET仿真模型（Simulink仿真实现）内容概要：本文档介绍了含中间直流环节的三相电力电子变压器（PET）的Simulink仿真模型，重点在于构建和模拟PET系统的核心结构与工作原理。该仿真模型涵盖了PET的前级整流、中间直流环节以及后级逆变部分，能够实现电能的高效转换与隔离，适用于研究PET在智能电网、新能源接入等场景下的动态特性与控制策略。通过Simulink平台，用户可对系统进行稳态与暂态性能分析，验证控制算法的有效性。; 适合人群：电气工程、电力电子及相关专业的高校师生、科研人员以及从事电力系统仿真的工程技术人员。; 使用场景及目标：①用于教学演示电力电子变压器的工作原理；②支撑科研项目中对PET控制策略（如电压、电流双闭环控制）的设计与验证；③为新型电力系统中电能变换装置的开发提供仿真基础。; 阅读建议：建议结合电力电子技术基础知识学习本仿真模型，重点关注各模块的参数设置与控制逻辑实现，建议动手搭建模型并进行仿真实验，以加深对PET系统运行机制的理解。
考虑柔性负荷的综合能源系统低碳经济优化调度【考虑碳交易机制】（Matlab代码实现）
最新发布
12-16
考虑柔性负荷的综合能源系统低碳经济优化调度【考虑碳交易机制】（Matlab代码实现）内容概要：本文围绕“考虑柔性负荷的综合能源系统低碳经济优化调度”展开，重点研究在碳交易机制下如何实现综合能源系统的低碳化与经济性协同优化。通过构建包含风电、光伏、储能、柔性负荷等多种能源形式的系统模型，结合碳交易成本与能源调度成本，提出优化调度策略，以降低碳排放并提升系统运行经济性。文中采用Matlab进行仿真代码实现，验证了所提模型在平衡能源供需、平抑可再生能源波动、引导柔性负荷参与调度等方面的有效性，为低碳能源系统的设计与运行提供了技术支撑。; 适合人群：具备一定电力系统、能源系统背景，熟悉Matlab编程，从事能源优化、低碳调度、综合能源系统等相关领域研究的研究生、科研人员及工程技术人员。; 使用场景及目标：①研究碳交易机制对综合能源系统调度决策的影响；②实现柔性负荷在削峰填谷、促进可再生能源消纳中的作用；③掌握基于Matlab的能源系统建模与优化求解方法；④为实际综合能源项目提供低碳经济调度方案参考。; 阅读建议：建议读者结合Matlab代码深入理解模型构建与求解过程，重点关注目标函数设计、约束条件设置及碳交易成本的量化方式，可进一步扩展至多能互补、需求响应等场景进行二次开发与仿真验证。
大学怎样用AI工具3分钟生成技术成熟度报告？.docx
12-16
大学怎样用AI工具3分钟生成技术成熟度报告？
【云原生运维】基于Kubernetes的CI/CD全流程自动化：Spring Boot应用在容器化环境下的持续集成与部署实践
12-16
内容概要：本文详细展示了在Kubernetes环境下实现CI/CD全流程的完整示例，涵盖从代码提交、自动化构建、测试、安全扫描到多环境部署的各个环节。技术栈包括GitLab CI、Docker、Helm、Kustomize、Trivy等工具，并以Spring Boot应用为例，提供了Dockerfile、Kubernetes资源配置、Helm Chart结构以及蓝绿部署、金丝雀发布等高级部署策略的具体实现。同时，文章还介绍了GitOps（ArgoCD）、HPA自动扩缩容、Prometheus监控告警等增强能力，并强调了安全性、可靠性、可观测性和成本优化的最佳实践。; 适合人群：具备一定Kubernetes、容器化和DevOps基础知识，从事后端开发、运维或平台工程的技术人员，尤其是希望落地标准化CI/CD流程的团队成员； 使用场景及目标：①构建基于Kubernetes的企业级持续交付流水线；②实现安全可控的多环境自动化部署；③集成监控告警与弹性伸缩机制提升系统稳定性；④推动GitOps理念在团队中的实践落地； 阅读建议：建议结合实际Kubernetes集群环境，逐步复现文档中的各个步骤，重点关注CI/CD配置逻辑、部署策略差异及最佳实践部分，并将其适配到自身项目体系中进行持续优化。
【分布式系统】基于Redis的Session集中存储方案：实现Web服务器高可用与横向扩展
12-16
内容概要：本文介绍了基于Redis实现分布式Session的解决方案，重点阐述了将Session集中存储于Redis集群的技术思路与优势。文中指出，传统的tomcat-redis-session-manager仅适用于Tomcat容器层的HttpSession同步，存在应用层适配局限；相比之下，推荐使用Spring Session与Redis结合的方式，实现更灵活的应用层Session管理。通过将sessionId作为key、session数据作为value存储在Redis中，可在多台应用服务器间共享Session，确保高可用性和横向扩展能力。同时，文章对比了多种保证Session一致性的架构方案，包括Session同步法、客户端存储法、反向代理Hash一致性以及后端统一存储法，并强调后端统一存储为最优选择。; 适合人群：具备Java Web开发基础，熟悉分布式架构、Redis及Session机制的1-3年经验后端研发人员； 使用场景及目标：①解决传统Web服务器集群中Session不一致问题；②实现服务无状态化设计，提升系统可扩展性与容灾能力；③在微服务或负载均衡环境下构建统一的Session管理中心； 阅读建议：学习时应结合Spring Session实际集成案例，理解其与Redis的协作机制，并深入掌握不同Session共享方案的适用边界与设计权衡。
浏览器 12.5.0 安装包
12-16
浏览器 安装包 版本号 12.5.0。
Python自动日报生成器（多文件汇总+邮件发送）
12-16
一键读取多份 Excel/CSV，按配置表头映射后合并生成日报 Excel，可配置主键关联合并并支持 SMTP 邮 件发送。内含示例数据、配置模板、依赖列表，修改表头和收件人即可直接运行。
高等院校如何评估基金联动模式的财务杠杆效应？.docx
12-16
高等院校如何评估基金联动模式的财务杠杆效应？
【顶级EI复现】【最新EI论文】低温环境下考虑电池寿命的微电网优化调度（Matlab代码实现）
12-16
【顶级EI复现】【最新EI论文】低温环境下考虑电池寿命的微电网优化调度（Matlab代码实现）内容概要：本文介绍了名为《【顶级EI复现】【最新EI论文】低温环境下考虑电池寿命的微电网优化调度（Matlab代码实现）》的技术文档，重点围绕在低温环境下，结合电池寿命衰减因素对微电网系统进行优化调度的研究。该研究通过建立数学模型，综合考虑风光储、柴油、燃气等多种能源形式以及电网交互关系，利用Matlab编程实现优化算法（如内点法、多目标粒子群算法等），完成对微电网运行成本、能源效率与电池使用寿命之间的多目标协同优化。文中强调了实际寒潮场景下的V2G调度数据应用，并提供了完整的仿真代码与数据集支持，具有较强的工程复现价值。; 适合人群：具备一定电力系统基础知识和Matlab编程能力的研究生、科研人员及从事微电网、储能系统优化等相关领域的工程技术人员；尤其适合希望复现高水平EI论文成果的用户； 使用场景及目标：①用于低温环境下微电网能量管理系统的建模与仿真；②支撑考虑电池老化机制的储能优化调度研究；③服务于学术论文复现、课题项目开发及智能电网优化算法验证； 阅读建议：建议结合提供的网盘资源（包括YALMIP工具包、完整代码与数据集）进行实践操作，重点关注目标函数构建、约束条件设置及多目标优化求解过程，建议在Matlab环境中调试代码以深入理解算法实现细节与系统响应特性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值