明日开播!从前沿动态到实战经验,vLLM 推理优化实战 Meetup 定档 10 月 25 日

部署运行你感兴趣的模型镜像

10 月 25 日,vLLM 推理优化实战 Meetup 将在上海浦东模力社区展开,活动邀请了行业里超厉害的技术大牛齐聚一堂,不仅聊 vLLM 领域的前沿动态、实战经验,还会分享超实用的技术干货、新兴的开源项目!

作为官方合作社区,HyperAI超神经将通过视频号为大家带来本次 Meetup 的直播,无法到场的小伙伴快来视频号预约观看直播吧~

时间 10 月 25 日,下午 13:00-17:30

地点: 上海张江模力社区 1 幢 5F (浦东新区中科路 1750 号)

01 硬核技术分享:聚焦 vLLM 推理实践

1、想了解 NVIDIA Dynamo 怎么靠智能调度、缓存优化,打破 vLLM 分布式部署的效率魔咒吗?

2、想知道 vLLM 弹性扩缩不用重启实例?还能学 K8s Workload 联动技巧,彻底告别服务中断吗?

3、想了解怎么用 Serverless 思路构建 vLLM 推理系统,既保效率又能降本吗?

4、想了解怎么靠 AI SSD 云存储加速层(CSAL)+ 专属工具包,拉满 vLLM 推理的存储效率吗?

5、想知道怎么给 vLLM 加实时监控 + 分布式追踪 不用 “盲猜” 就能定位性能瓶颈吗?

6、想知道怎么用开源 XGrammar,让 LLM 高效输出结构化结果 加速 tool calling 落地吗?

7、想知道 K8s 集群的 GPU 独占、算力碎片化问题怎么破 让 vLLM 顺利上生产吗?

8、想了解国产 GPU 上如何快速搭建高效的 vLLM 推理服务的解决方案么?

那你绝对不能错过这次活动,赶快把 10 月 25 日的日程安排上!

在这里插入图片描述

现在扫描下方议程二维码即可报名,现场席位有限,报名从速哟~~~
在这里插入图片描述

02 多元互动与惊喜福利

1、专属 QA 互动: 每位嘉宾演讲结束后,均设有专属 QA 时间。无论是寻求专业技术思路、探讨最新技术趋势,还是针对分享内容深入交流,都可举手提问,近距离与专家碰撞思想,带着问题来、揣着答案走。

2、开源集市体验: 除了跟嘉宾互动,现场开源集市汇集丰富内容,可了解最新开源项目、学习开源贡献方法,还能结识志同道合的技术伙伴,边逛边学轻松获取开源干货。

3、礼品与抽奖活动: 每个展位均准备精致小礼品,涵盖技术类实用周边、创意纪念品,参与展位打卡互动即可领取;完成各展位互动可收集专属贴纸,集齐 4 款可参与抽奖,最高奖项价值超 1000 元。

准备好了吗?这场活动要把你的技术热情和参与快乐一起拉满!想找技术大咖唠干货,或是深挖开源新玩法,这儿都能满足你。快喊上你的技术搭子一起冲,剩余的名额真的不多,手慢可就没位置啦!

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Vllm-v0.11.0

Vllm-v0.11.0

Vllm

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架,旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库,用于 LLM 推理和服务,可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」,有效地管理注意力键和值

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值